[發(fā)明專利]一種基于深度學(xué)習(xí)的OCR檢測方法

在審

• 申請?zhí)枺?/td>: 202010781247.7
• 申請日: 2020-08-06
• 公開（公告）號: CN111967457A
• 公開（公告）日: 2020-11-20
• 發(fā)明（設(shè)計）人: 孫余順;鄒易;賴偉海;賴明鐘
• 申請（專利權(quán)）人: 賴明鐘
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06K9/34;G06K9/62;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，包括：

步驟1：采集待測字符圖片信息；

步驟2：將待測字符圖片送入字符檢測網(wǎng)絡(luò)中進行單個字符的位置提取，確定待測字符圖片中每個單字符大致的外包矩形區(qū)域；

步驟3：根據(jù)待測字符圖片中的可能字符外包矩形區(qū)域進行字符筆畫區(qū)域分割，采集圖片中的字符區(qū)域；

步驟4：根據(jù)字符區(qū)域分割的信息，對字符外包矩形位置進行調(diào)整，采集字符區(qū)域內(nèi)各個字符的準確外包矩形區(qū)域；

步驟5：對采集到的各個字符信息進行識別確認，完成OCR檢測過程。

2.根據(jù)權(quán)利要求1所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述字符檢測網(wǎng)絡(luò)的訓(xùn)練方法如下：

步驟1：采集字符樣本；

步驟2：對字符樣本進行豐富，并退化處理，送入神經(jīng)網(wǎng)絡(luò)；

步驟3：將各個字符樣本作為同一目標類型進行訓(xùn)練，得到字符檢測網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求2所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述退化處理包括對字符樣本的模擬扭曲、縮放、筆畫粗細變更、亮度變化、對比度變化、隨機位置、隨機角度調(diào)整。

4.根據(jù)權(quán)利要求3所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述模擬扭曲的具體過程如下：

A、加入輸入的字符樣本Image，長寬分別為W和H，生成兩張向量圖ImageX，ImageY，長寬分別為W/A、H/A，A的取值為3~8

B、使用隨機數(shù)生成算法用隨機數(shù)填充ImageX和ImageY的每個像素，隨機數(shù)的范圍為-2~2；將ImageX和ImageY用立方插值的方法將長寬縮放到W和H；

C、將字符樣本Image的每個像素根據(jù)ImageX和ImageY對應(yīng)位置的值分別移動，得到扭曲后圖像ImageDistortion。

5.根據(jù)權(quán)利要求2所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述字符檢測網(wǎng)絡(luò)的訓(xùn)練方法包括：

對于416x416的輸入尺寸，在YOLOV3tiny前兩層的特征圖分別為13x13、26x26，在主干網(wǎng)絡(luò)后繼續(xù)增加兩個或兩個以上的upsample層，分別得到52x52、104x104的特征圖，提高了小目標的檢出率。

6.根據(jù)權(quán)利要求2所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述字符檢測網(wǎng)絡(luò)的訓(xùn)練方法包括：

訓(xùn)練網(wǎng)絡(luò)時，將傳統(tǒng)的IOU計算改為兩個矩形框的交集與兩個矩形框各自分別進行比值，取較大者作為結(jié)果。

7.根據(jù)權(quán)利要求2所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述字符檢測網(wǎng)絡(luò)的訓(xùn)練方法包括：

在計算anchor的時候，利用已有數(shù)據(jù)集標注的box的尺寸信息，進行kmeans聚類，得到更接近于數(shù)據(jù)集的anchor值，加速訓(xùn)練過程的收斂。

8.根據(jù)權(quán)利要求1所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述步驟3中，閾值分割后，擴大字符區(qū)域，使用動態(tài)閾值分割技術(shù)提取字符前景。

9.根據(jù)權(quán)利要求8所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述提取字符前景的具體方法為：

假設(shè)輸入圖像為Image，對每個像素計算其MxN鄰域內(nèi)的圖像均值ImageMean和方差I(lǐng)mageDeviation，實際使用的閾值為ImageThreshold=ImageMean–S*ImageDeviation，S取值范圍為0.05~2，并逐像素比較Image和ImageThreshold，Image中像素灰度值低于ImageThreshold的為字符像素。

10.根據(jù)權(quán)利要求1所述基于深度學(xué)習(xí)的OCR檢測方法，其特征在于，所述步驟4采用深度學(xué)習(xí)進行字符分割，具體方法如下：利用深度學(xué)習(xí)將字符區(qū)域內(nèi)的單個字符設(shè)置為單一字符檢測框，生成一個邊界可能位置的直方圖DeepHisto；對于單一字符檢測框，從中心為開始計算，將中心位置設(shè)置為0，線性過度到邊界位置為1，0標識出現(xiàn)字符分割點的可能性為0，1表示出現(xiàn)字符分割點的可能性為1，所有字符采用同樣的方法，得到一個字符分割點出現(xiàn)概率的DeepHisto；使用DeepHisto調(diào)制HoriHisto，將HoriHist的局部最小值作為精確字符位置，得到最可能的字符分割點，完成字符分割。