[發明專利]文本識別模型訓練方法、文本識別方法、裝置及設備

有效

• 申請號: 202010156069.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111401375B
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 金宏運;楊現;陳浩
• 申請（專利權）人: 蘇寧云計算有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京市萬慧達律師事務所 11111
• 代理人: 張慧娟

1.一種文本識別模型訓練方法，其特征在于，所述方法包括：

獲取圖像樣本集，其中，所述圖像樣本集中的圖像樣本包括文本圖像及所述文本圖像關聯的文字標簽；

對所述圖像樣本集進行樣本擴充，并將樣本擴充后的圖像樣本集劃分為訓練集、驗證集和測試集；

根據所述訓練集和所述驗證集對文本識別模型進行迭代訓練，其中，所述文本識別模型是通過將CRNN網絡模型中原有的VGG網絡替換為SE-ResNet網絡，并與BiLSTM網絡層以及注意力機制層依次級聯而構建得到的；

根據所述測試集對迭代訓練后的文本識別模型進行性能測試。

2.根據權利要求1所述的方法，其特征在于，所述對所述圖像樣本集進行樣本擴充，包括：

對所述圖像樣本集中的圖像樣本所包括的文本圖像進行數據增廣，并獲取對應的文本標簽，得到所述圖像樣本對應的擴充圖像樣本；

其中，所述數據增廣包括如下方式中的至少一個：

對所述文本圖像進行翻轉、平移、縮放操作、調整圖像RGB各通道權重以及圖像旋轉中的至少一種；

運用OpenCV庫和PIL圖像處理庫，模擬生成帶文本標簽的合成文本圖像。

3.根據權利要求1所述的方法，其特征在于，所述文本識別模型是采用如下方法構建得到：

構造SE網絡模塊，并將所述SE網絡模塊設置到ResNet網絡中，形成SE-ResNet網絡層，其中，所述SE網絡模塊是通過Squeeze 操作、Excitation 操作以及Reweight 操作完成圖像特征重定向的；

對所述SE-ResNet網絡層、BiLSTM網絡層和注意力機制層依次級聯，構成所述文本識別模型。

4.根據權利要求3所述的方法，其特征在于，所述根據所述訓練集和所述驗證集對文本識別模型進行迭代訓練，包括：

將所述訓練集輸入到所述文本識別模型中進行訓練；

根據所述驗證集，對訓練后的所述文本識別模型進行驗證，若驗證結果不符合迭代停止條件時，則繼續對所述文本識別模型進行迭代訓練和驗證，直至驗證結果符合迭代停止條件，輸出迭代訓練好的文本識別模型。

5.根據權利要求4所述的方法，其特征在于，所述將所述訓練集輸入到所述文本識別模型中進行訓練，包括：

以所述訓練集中的文本圖像作為輸入，采用所述SE-ResNet網絡層對所述文本圖像進行多層卷積運算，得到所述文本圖像對應的預設維度的特征向量；

將所述特征向量分解為預設長度的特征向量序列；

采用所述BiLSTM網絡層對所述文本圖像對應的特征向量序列進行基于上下文的特征提取，得到所述文本圖像對應的編碼特征向量；

以所述文本圖像對應的編碼特征向量作為所述注意力機制層在t時刻的輸入，以所述文本圖像關聯的文字標簽作為所述注意力機制層在t時刻的輸出，并結合所述注意力機制層在t-1時刻的預測輸出，對所述注意力機制層進行訓練。

6.一種文本識別方法，其特征在于，所述方法包括：

對輸入的待識別文本圖像進行預處理；

將預處理后的所述待識別文本圖像輸入到預先訓練好的文本識別模型進行文本識別，并輸出所述待識別文本圖像的文本識別結果；

其中，所述預先訓練好的文本識別模型基于如權利要求1至5任意一項所述的方法訓練。

7.一種文本識別模型訓練裝置，其特征在于，所述裝置包括：

樣本獲取模塊，用于獲取圖像樣本集，所述圖像樣本集中的圖像樣本包括文本圖像及所述文本圖像關聯的文字標簽；

樣本擴充模塊，用于對所述圖像樣本集進行樣本擴充；

樣本劃分模塊，用于將樣本擴充后的圖像樣本集劃分為訓練集、驗證集和測試集；

迭代訓練模塊，用于根據所述訓練集和所述驗證集對文本識別模型進行迭代訓練，其中，所述文本識別模型是通過將CRNN網絡模型中原有的VGG網絡替換為SE-ResNet網絡，并與BiLSTM網絡層以及注意力機制層依次級聯而構建得到的；

模型測試模塊，用于根據所述測試集對迭代訓練后的文本識別模型進行性能測試。