[發(fā)明專利]基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法及介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910160850.0
• 申請(qǐng)日: 2019-03-04
• 公開（公告）號(hào): CN109919076B
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計(jì)）人: 郝占龍;林玉玲;陳文傳;杜保發(fā)
• 申請(qǐng)（專利權(quán)）人: 廈門商集網(wǎng)絡(luò)科技有限責(zé)任公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 福州科揚(yáng)專利事務(wù)所(普通合伙) 35001
• 代理人: 何小星

1.一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于：包括如下步驟：

將OCR識(shí)別得到的票據(jù)影像按設(shè)定的字段進(jìn)行分割，生成多個(gè)字段碎片圖像，同時(shí)生成各所述字段碎片圖像在所述票據(jù)影像上的坐標(biāo)信息；所述設(shè)定的字段是根據(jù)票據(jù)類型需要從票據(jù)上提取的需要核驗(yàn)的關(guān)鍵信息；

對(duì)各所述字段碎片圖像進(jìn)行單字分割，生成單字圖像和單字圖像在所述票據(jù)影像上的坐標(biāo)信息；建立每個(gè)單字圖像與所述票據(jù)影像的映射關(guān)系；

通過深度學(xué)習(xí)模型對(duì)所述單字圖像進(jìn)行特征提取，將單字圖像轉(zhuǎn)換為單字的第一特征矩陣；

根據(jù)所述單字圖像的坐標(biāo)信息從標(biāo)準(zhǔn)庫中提取OCR識(shí)別結(jié)果中該坐標(biāo)位置對(duì)應(yīng)的單字的標(biāo)準(zhǔn)特征矩陣，逐個(gè)計(jì)算所述單字的第一特征矩陣與對(duì)應(yīng)的標(biāo)準(zhǔn)特征矩陣的相似度，若計(jì)算結(jié)果在設(shè)定的相似度閾值范圍內(nèi)，則認(rèn)為該單字識(shí)別正確，否則認(rèn)為該單字識(shí)別錯(cuò)誤；

所述字段碎片圖像的單字分割，生成單字圖像的步驟具體為：將所述字段碎片圖像通過深度學(xué)習(xí)模型進(jìn)行特征提取，轉(zhuǎn)換為字段碎片圖像的特征矩陣，通過窗口截取字段碎片圖像特征矩陣，得到單字的第二特征矩陣，根據(jù)該第二特征矩陣在字段碎片圖像特征矩陣中的位置，確定該第二特征矩陣對(duì)應(yīng)的單字坐標(biāo)信息，根據(jù)該單字坐標(biāo)信息從所述字段碎片圖像中分割出單字圖像。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于：采用不同尺度且寬高比例為1:1的窗口分別遍歷截取字段碎片圖像的特征矩陣，和/或采用不同尺度且寬高比例為1:2的窗口分別遍歷截取字段碎片圖像的特征矩陣。

3.根據(jù)權(quán)利要求2所述的一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于：將所述窗口截取到的特征矩陣輸入所述深度學(xué)習(xí)模型進(jìn)行判斷，所述深度學(xué)習(xí)模型通過預(yù)設(shè)的置信度閾值進(jìn)行篩選，輸出目標(biāo)特征矩陣。

4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于：所述目標(biāo)特征矩陣通過非極大值抑制合并重復(fù)的區(qū)域，得到單字的第二特征矩陣，同時(shí)根據(jù)該第二特征矩陣在字段碎片圖像特征矩陣中的位置，確定該第二特征矩陣對(duì)應(yīng)的單字坐標(biāo)信息，根據(jù)該單字坐標(biāo)信息從所述字段碎片圖像中分割出單字圖像。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于，核驗(yàn)出該單字識(shí)別錯(cuò)誤，根據(jù)該單字圖像的坐標(biāo)信息定位該單字圖像在所述票據(jù)影像中的位置，并提示用戶。

6.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于，所述相似度計(jì)算的方式包括歐氏距離，余弦距離或馬氏距離。

7.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于，所述深度學(xué)習(xí)模型的損失函數(shù)引入余弦距離和角度距離，其公式為：其中，m是每批次處理樣本的總數(shù)量，s是x_i的二范數(shù)，即s＝||x_i||，是第i個(gè)屬于類別y_i的樣本的深度特征，d是特征維度，θ_yi代表y_i類別樣本的角向量，θ_j代表j類別樣本的角向量，n是類別數(shù)量。

8.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法，其特征在于，所述深度學(xué)習(xí)模型的損失函數(shù)公式為：其中，m是每批次處理樣本的總數(shù)量，是W^T的第yi列，是W^T的第j列，b_yi是第yi列的偏置，b_j是第j列的偏置，是第i個(gè)屬于類別y_i的樣本的深度特征，d是特征維度，是最后全連接層權(quán)重W的第j列，n是類別數(shù)量，T表示矩陣的轉(zhuǎn)置。

9.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有指令，其特征在于，該指令被處理器加載時(shí)執(zhí)行如權(quán)利要求1所述的基于深度學(xué)習(xí)的確認(rèn)OCR識(shí)別結(jié)果可靠性的方法。