[發(fā)明專利]一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210087400.5
• 申請(qǐng)日: 2022-01-25
• 公開（公告）號(hào): CN114565748A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計(jì)）人: 燕松;戰(zhàn)培志;虞太華;楊倪智;孫錫強(qiáng);張愷;彭鳳強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 中通服咨詢?cè)O(shè)計(jì)研究院有限公司;江蘇省通信服務(wù)有限公司
• 主分類號(hào): G06V10/22
• 分類號(hào): G06V10/22;G06V10/26;G06V10/75;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務(wù)所 32237
• 代理人: 黃振華

1.一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，包括以下步驟：

步驟1，采用粗模型對(duì)表頭內(nèi)容匹配定位識(shí)別；

步驟2，對(duì)表格內(nèi)容進(jìn)行圖像預(yù)處理；

步驟3，采用精細(xì)模型對(duì)表格內(nèi)容塊cell內(nèi)容進(jìn)行識(shí)別；

步驟4，得到進(jìn)出口貨物申請(qǐng)表OCR識(shí)別結(jié)果，并進(jìn)行后續(xù)處理。

2.根據(jù)權(quán)利要求1所述的一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，步驟1中所述的采用粗模型對(duì)表頭內(nèi)容匹配定位識(shí)別方法包括：根據(jù)進(jìn)出口貨物申請(qǐng)表的表頭部分訓(xùn)練一個(gè)表頭內(nèi)容識(shí)別模型，快速匹配制表數(shù)據(jù)庫(kù)中的模板信息；識(shí)別模型采用Tesseract-OCR算法，通過(guò)匹配得到整張進(jìn)出口貨物申請(qǐng)表的基本內(nèi)容信息，包括行列數(shù)以及相應(yīng)字段內(nèi)容信息。

3.根據(jù)權(quán)利要2所述的一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，步驟2中所述的對(duì)表格內(nèi)容進(jìn)行圖像預(yù)處理方法包括：基于霍夫直線檢測(cè)對(duì)進(jìn)出口貨物申請(qǐng)表的表內(nèi)容外包絡(luò)切片區(qū)域進(jìn)行旋轉(zhuǎn)糾正，通過(guò)中值濾波和圖像銳化操作過(guò)濾圖像的噪點(diǎn)信息，并結(jié)合閾值分割方法去除紅色印章信息。

4.根據(jù)權(quán)利要3所述的一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，步驟3中所述的采用精模型對(duì)表格內(nèi)容塊cell內(nèi)容進(jìn)行識(shí)別方法包括：對(duì)經(jīng)過(guò)步驟2中所述圖像預(yù)處理的表格圖像，構(gòu)建精細(xì)模型對(duì)每個(gè)表格內(nèi)容塊cell小目標(biāo)內(nèi)容進(jìn)行識(shí)別；所述精細(xì)模型采用改進(jìn)的TE-Efficient及CRNN輕量檢測(cè)網(wǎng)絡(luò)結(jié)構(gòu)，該模型基于Efficient網(wǎng)絡(luò)結(jié)構(gòu)，采用模型復(fù)合縮放方法統(tǒng)一縮放網(wǎng)絡(luò)深度、寬度和分辨率，加上PAN與TE-CODE模塊增加對(duì)表格內(nèi)容塊cell小目標(biāo)特征提取與識(shí)別性能，結(jié)合CRNN模型對(duì)每個(gè)表格內(nèi)容塊cell的內(nèi)容進(jìn)行最終識(shí)別，得到文字內(nèi)容位置與結(jié)果。

5.根據(jù)權(quán)利要4所述的一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，步驟4中所述的后續(xù)處理方法包括：對(duì)步驟3中識(shí)別得到的文字內(nèi)容位置與結(jié)果，結(jié)合步驟1中識(shí)別得到的申請(qǐng)表字段內(nèi)容信息，同步寫入數(shù)據(jù)庫(kù)中，完成對(duì)進(jìn)出口貨物申請(qǐng)表數(shù)據(jù)的識(shí)別存檔。

6.根據(jù)權(quán)利要求5所述的一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，步驟1包括：

步驟1-1，對(duì)輸入的進(jìn)出口貨物申請(qǐng)表圖像進(jìn)行霍夫直線檢測(cè)，得到表格內(nèi)容的外包絡(luò)線；

步驟1-2，選取外包絡(luò)線的上半部分或左半部分作為進(jìn)出口貨物申請(qǐng)表的表頭部分；

步驟1-3，采用用Tensseract-OCR算法對(duì)進(jìn)出口貨物申請(qǐng)表的表頭內(nèi)容進(jìn)行識(shí)別；

步驟1-4，與后臺(tái)表數(shù)據(jù)庫(kù)中的模板信息進(jìn)行匹配得到整張申請(qǐng)表的行列數(shù)以及相應(yīng)字段內(nèi)容信息。

7.根據(jù)權(quán)利要求6所述的一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，步驟2包括：

步驟2-1，基于霍夫直線檢測(cè)對(duì)進(jìn)出口貨物申請(qǐng)表的表內(nèi)容外包絡(luò)切片區(qū)域進(jìn)行旋轉(zhuǎn)糾正；

步驟2-2，對(duì)進(jìn)出口貨物申請(qǐng)表進(jìn)行圖像中值濾波和銳化操作，去除部分噪點(diǎn)信息；

步驟3-3，對(duì)處理后的圖像進(jìn)行RGB通道分離，對(duì)R通道圖像結(jié)合閾值分割去除紅色印章信息，得到預(yù)處理后的表格圖像。

8.根據(jù)權(quán)利要求7所述的一種粗精雙模型進(jìn)出口貨物申請(qǐng)表OCR識(shí)別方法，其特征在于，步驟2-1中所述旋轉(zhuǎn)糾正方法包括：

通過(guò)旋轉(zhuǎn)角度對(duì)區(qū)域圖像校正到水平方向，旋轉(zhuǎn)角度計(jì)算方法如下：

其中，(x₁，y₁)和(x₂，y₂)分別為通過(guò)霍夫直線檢測(cè)到表格內(nèi)容外包絡(luò)切片區(qū)域的頂點(diǎn)坐標(biāo)。