[發(fā)明專利]基于深度學(xué)習(xí)的確認(rèn)OCR識別結(jié)果可靠性的方法及介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910160850.0
• 申請日: 2019-03-04
• 公開（公告）號: CN109919076B
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計）人: 郝占龍;林玉玲;陳文傳;杜保發(fā)
• 申請（專利權(quán)）人: 廈門商集網(wǎng)絡(luò)科技有限責(zé)任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 福州科揚(yáng)專利事務(wù)所(普通合伙) 35001
• 代理人: 何小星

本發(fā)明涉及一種基于深度學(xué)習(xí)的確認(rèn)OCR識別結(jié)果可靠性的方法，包括如下步驟：將OCR識別得到的票據(jù)影像按設(shè)定的字段進(jìn)行分割，生成多個字段碎片圖像和各字段碎片圖像在所述票據(jù)影像上的坐標(biāo)信息；對各字段碎片圖像進(jìn)行單字分割，生成單字圖像和單字圖像在所述票據(jù)影像上的坐標(biāo)信息；對所述單字圖像進(jìn)行特征提取，得到單字的第一特征矩陣；根據(jù)所述單字圖像的坐標(biāo)信息從標(biāo)準(zhǔn)庫提取OCR識別結(jié)果中該坐標(biāo)位置對應(yīng)的單字的標(biāo)準(zhǔn)特征矩陣，逐個計算所述單字的第一特征矩陣與對應(yīng)的標(biāo)準(zhǔn)特征矩陣的相似度，若計算結(jié)果在設(shè)定的相似度閾值范圍內(nèi)，則認(rèn)為該單字識別正確。本發(fā)明優(yōu)點：核驗OCR識別結(jié)果，大幅提高識別結(jié)果的精準(zhǔn)度，減少人工工作量。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度學(xué)習(xí)的確認(rèn)OCR識別結(jié)果可靠性的方法及介質(zhì)，屬于光學(xué)字符識別領(lǐng)域。

背景技術(shù)

隨著科學(xué)技術(shù)的發(fā)展，以及電子化的需求，越來越多的光學(xué)圖像需要進(jìn)行文本識別錄入計算機(jī)中。在財稅、經(jīng)濟(jì)偵查等領(lǐng)域，工作人員需要花費大量時間仔細(xì)錄入票據(jù)信息，并且繁瑣重復(fù)的錄入工作極易出現(xiàn)錯誤，為了減少工作人員的繁瑣錄入工作和錯誤的發(fā)生，基于OCR識別的錄入算法變得越來越重要。

雖然目前很多OCR識別的準(zhǔn)確率很高，甚至準(zhǔn)確率可達(dá)99％，但是在稅務(wù)金融等領(lǐng)域1％的識別錯誤率仍是不可接受的，且錯誤發(fā)生點的不確定，使得OCR無法預(yù)先得知會在什么位置識別錯誤，識別完成后并不知道所識別的結(jié)果是否是真實值。為了達(dá)到高于99.95％的精度要求，不得不使用人工進(jìn)行二次、甚至三次的信息錄入核對工作，現(xiàn)有的OCR識別結(jié)合人工審核的流程如圖1所示，這樣浪費了大量人力資源，大大的提高了錄入成本。為了減少人工干預(yù)的工作量，研發(fā)一種可以確定OCR識別結(jié)果中錯誤點的方法具有極其重要的意義。

發(fā)明內(nèi)容

為了解決上述技術(shù)問題，本發(fā)明提供一種基于深度學(xué)習(xí)的確認(rèn)OCR識別結(jié)果可靠性的方法，能夠核驗OCR識別結(jié)果的正確性，從而大幅提高OCR識別結(jié)果的精確率，并能夠定位出錯位置。

本發(fā)明的技術(shù)方案一如下：

一種基于深度學(xué)習(xí)的確認(rèn)OCR識別結(jié)果可靠性的方法，包括如下步驟：

將OCR識別得到的票據(jù)影像按設(shè)定的字段進(jìn)行分割，生成多個字段碎片圖像，同時生成各所述字段碎片圖像在所述票據(jù)影像上的坐標(biāo)信息；對各所述字段碎片圖像進(jìn)行單字分割，生成單字圖像和單字圖像在所述票據(jù)影像上的坐標(biāo)信息；對所述單字圖像進(jìn)行特征提取，得到單字的第一特征矩陣；根據(jù)所述單字圖像的坐標(biāo)信息從標(biāo)準(zhǔn)庫提取OCR識別結(jié)果中該坐標(biāo)位置對應(yīng)的單字的標(biāo)準(zhǔn)特征矩陣，逐個計算所述單字的第一特征矩陣與對應(yīng)的標(biāo)準(zhǔn)特征矩陣的相似度，若計算結(jié)果在設(shè)定的相似度閾值范圍內(nèi)，則認(rèn)為該單字識別正確，否則認(rèn)為該單字識別錯誤。

更優(yōu)地，所述字段碎片圖像的單字分割，生成單字圖像的步驟具體為：所述字段碎片圖像通過深度學(xué)習(xí)模型進(jìn)行特征提取，轉(zhuǎn)換為字段碎片圖像的特征矩陣，通過窗口截取字段碎片圖像特征矩陣，得到單字的第二特征矩陣，根據(jù)該第二特征矩陣在字段碎片圖像特征矩陣中的位置，確定該第二特征矩陣對應(yīng)的單字坐標(biāo)信息，根據(jù)該單字坐標(biāo)信息從所述字段碎片圖像中分割出單字圖像。

更優(yōu)地，采用不同尺度且寬高比例為1:1的窗口分別遍歷截取字段碎片圖像的特征矩陣，和/或采用不同尺度且寬高比例為1:2的窗口分別遍歷截取字段碎片圖像的特征矩陣。

更優(yōu)地，將所述窗口截取到的特征矩陣輸入所述深度學(xué)習(xí)模型進(jìn)行判斷，所述深度學(xué)習(xí)模型通過預(yù)設(shè)的置信度閾值進(jìn)行篩選，輸出目標(biāo)特征矩陣。

更優(yōu)地，所述目標(biāo)特征矩陣通過非極大值抑制合并重復(fù)的區(qū)域，得到單字的第二特征矩陣，同時根據(jù)該第二特征矩陣在字段碎片圖像特征矩陣中的位置，確定該第二特征矩陣對應(yīng)的單字坐標(biāo)信息，根據(jù)該單字坐標(biāo)信息從所述字段碎片圖像中分割出單字圖像。

更優(yōu)地，核驗出該單字識別錯誤，根據(jù)該單字圖像的坐標(biāo)信息定位該單字圖像在所述票據(jù)影像中的位置，并提示用戶。