[OpenCV][Python]實測tesseract OCR縮放到最佳高度可提高辨識率嗎?

在Tesseract的討論論壇中看到一篇文章，有人研究tesseract在文字高度在30~33pixl~內辨識率是最佳的。

本文就將來實作看看，拿出之前實驗用的OCR圖檔來跑跑看。

實驗內容

圖片縮放流程

1. 先讀取圖片中OCR的高度，取中位數。
2. 按照比例縮放圖片
3. 確認縮放後的圖片中的OCR高度是否在區間內
4. 辨識文字

縮放的程式範例

import os
import pytesseract
import time
import numpy as np
from collections import Counter
import cv2

def obj_area(img):
    num_labels, labels, stats, _ = cv2.connectedComponentsWithStats(img, connectivity=8)
    components = []
    ocr_components = []
    if num_labels < 2: # 若全黑的就跳過
        return None,None
    for i in range(1, num_labels):  # 跳過背景
        x, y, w, h, area = stats[i]
        components.append([x, y, w, h, area])
    components.sort(key=lambda c: c[0])  # 按 x 座標排序
    for state in components:
        _,_,w,h,area = state
        # ocr_components.append(f'{ocr}, 寬:{w}, 高 : {h} 面積:{area}')
        ocr_components.append((w,h,area))
    return ocr_components

def resize_img(img,ocr_h):
    H,W = img.shape[:2]
    target_height = 31
    # 計算目標高度
    target_ratio = target_height / ocr_h
    if target_ratio > ocr_h :
        resize_interpolation = cv2.INTER_CUBIC
    else:
        resize_interpolation = cv2.INTER_AREA
    # 根據計算出的高度進行縮放
    scaled_region = cv2.resize(img, (int(W*target_ratio), int(H*target_ratio)), interpolation = resize_interpolation)
    return scaled_region
    
def main():
    # 圖檔路徑
    img_path = "圖片路徑"
    # tesserac檔案路徑
    pytesseract.pytesseract.tesseract_cmd = r"tesserac檔案路徑"
    config = f'--oem 3 --psm 7'
    # 讀取圖檔
    img = cv2.imread(img_path)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    labels = cv2.threshold(gray, 0, 255, cv2.THRESH_BINARY_INV + cv2.THRESH_OTSU)[1]
    # 計算OCR高度
    h_res = obj_area(labels) 
    ocr_h = int(np.median([pos[1] for pos in h_res]))
    print(f'原先ocr_h:{ocr_h}')
    # 縮放圖片
    image_resize = resize_img(labels,ocr_h)
    # 計算縮放後的OCR高度
    resize_h_res = obj_area(image_resize)
    ocr_h_resize = int(np.median([pos[1] for pos in resize_h_res]))
    print(f'縮放後的ocr_h:{ocr_h_resize}')
    ocr_text = pytesseract.image_to_string(image_resize, lang="eng_Best", config=config)
    print(ocr_text)

if __name__ == "__main__":
    main()

結果圖

eng_Best模型

原圖：錯誤率35%

原圖

縮放後 : 錯誤率40%

eng_fast模型

原圖：錯誤率10%

縮放後：錯誤率 6%

結論

模型對於某些字體或者是大小會直接影響到辨識率，官方雖然說Best模型辨識率較佳，但在一些使用上的經驗來講，某些狀況則不一定是最佳，如這次實驗fast模型就好很多。

兩個模型在縮放後的結果也不盡相同，但在fast模型是有明顯提高辨識率的。