[發明專利]文本行識別方法及裝置、可讀存儲介質、電子設備

有效

• 申請號: 202010828438.4
• 申請日: 2020-08-18
• 公開（公告）號: CN111709406B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 范森;劉世林;康青楊;曾途;吳桐;楊李偉;尹康
• 申請（專利權）人: 成都數聯銘品科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/62;G06N3/04
• 代理公司: 北京市領專知識產權代理有限公司 11590
• 代理人: 張玲

1.一種文本行識別方法，其特征在于，包括：

將至少一張待檢測文本行圖像輸入預設神經網絡模型，得到所述預設神經網絡模型輸出的檢測結果，所述檢測結果為所述待檢測文本行圖像中的字符串；

其中，所述預設神經網絡模型以合成圖像樣本作為訓練樣本而訓練得到的，一所述合成圖像樣本包括：樣本、正樣本、困難負樣本、普通負樣本，所述樣本為針對一目標文本行生成的目標文本行圖像、所述正樣本為與所述目標文本行圖像的圖像特征不同但全局語義特征相同的文本行圖像，所述困難負樣本為與所述目標文本行圖像的圖像特征相同但全局語義特征不同的文本行圖像，所述普通負樣本為與所述目標文本行圖像的圖像特征不同且全局語義特征不同的文本行圖像。

2.根據權利要求1所述的文本行識別方法，其特征在于，所述預設神經網絡模型包括第一特征層、分割層、第二特征層和文字分類序列預測層；

所述第一特征層包括第一卷積神經網絡，用于根據輸入的訓練樣本，輸出該訓練樣本的第一特征圖；

所述分割層包括上采樣卷積神經網絡，用于將所述第一特征層輸出的第一特征圖作為輸入，輸出與所述第一特征圖對應的字符位置預測掩碼圖；

所述第二特征層，用于將所述分割層輸出的字符位置預測掩碼圖的尺寸變換到與其對應的第一特征圖相同，并將尺寸變換后的字符位置預測掩碼圖和與其對應的第一特征圖相乘，得到第二特征圖；

所述文字分類序列預測層包括依次連接的第二卷積神經網絡、第一雙向長短記憶網絡、第二雙向長短記憶網絡和全連接層，用于將所述第二特征層輸出的第二特征圖作為輸入，輸出所述訓練樣本中的字符串。

3.根據權利要求2所述的文本行識別方法，其特征在于，所述預設神經網絡模型是通過如下方式進行訓練的：

對所述第一特征層和分割層進行訓練，采用均方誤差MSE LOSS作為損失函數計算所述第二特征層中的第一分割損失；

在所述第一分割損失達到第一預設閾值后，再對文字分類序列預測層進行訓練，采用連接時序分類損失CTC Loss作為損失函數得到文字分類損失；

在對文字分類序列預測層進行訓練的同時，將所述第一雙向長短記憶網絡輸出的特征序列輸入至第三雙向長短記憶網絡得到全局語義特征，采用三重損失Triplet Loss作為損失函數得到第一語義度量損失；

并在所述第一分割損失、文字分類損失和第一語義度量損失的和達到第二預設閾值時，對所述預設神經網絡模型訓練完成。

4.根據權利要求2所述的文本行識別方法，其特征在于，所述預設神經網絡模型是通過如下方式進行訓練的：

對所述第一特征層和分割層進行訓練，采用均方誤差MSE LOSS作為損失函數計算所述第二特征層中的第一分割損失；

在所述第一分割損失達到第一預設閾值后，再對文字分類序列預測層進行訓練，采用連接時序分類損失CTC Loss作為損失函數得到文字分類損失；

在對文字分類序列預測層進行訓練的同時，將所述第一雙向長短記憶網絡輸出的特征序列輸入至第三雙向長短記憶網絡得到全局語義特征，采用三重損失Triplet Loss作為損失函數得到第一語義度量損失；

并在所述第一分割損失、文字分類損失和第一語義度量損失的和達到第三預設閾值后：還向所述第一特征層輸入多個無標注的第一文本行圖像和第二文本行圖像，對所述第一特征層和分割層進行訓練，采用均方誤差MSE LOSS作為損失函數計算所述第一文本行圖像和與其對應的第二文本行圖像的字符位置預測掩碼圖的差異，將該差異記為第二分割損失，其中，所述第二文本行圖像是對所述第一文本行圖像進行隨機圖像增強得到的；并將所述第一雙向長短記憶網絡輸出的特征序列輸入至第三雙向長短記憶網絡得到全局語義特征，采用均方誤差MSE LOSS作為損失函數計算所述第一文本行圖像和與其對應的第二文本行圖像的全局語義特征的差異，將該差異記為第二語義度量損失；

并在所述第一分割損失、文字分類損失、第一語義度量損失、第二分割損失與第二語義度量損失的和達到第四預設閾值時，對所述預設神經網絡模型訓練完成。