[發明專利]文本識別模型生成方法、文本識別方法、設備及存儲介質

在審

• 申請號: 202210859202.6
• 申請日: 2022-07-21
• 公開（公告）號: CN115393867A
• 公開（公告）日: 2022-11-25
• 發明（設計）人: 朱遠志;丁威;湯俊;何夢超;姚聰;劉騰;張潔靖;朱雅麗
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06V30/19
• 分類號: G06V30/19;G06V10/774;G06V10/776;G06V10/82;G06N3/04
• 代理公司: 上海知錦知識產權代理事務所(特殊普通合伙) 31327
• 代理人: 潘彥君

1.一種文本識別模型生成方法，其中，包括：

分別獲取文本行圖像訓練集和字符圖像訓練集；

將所述文本行圖像訓練集輸入預設的文本行識別模型，對所述文本行識別模型進行訓練，將所述字符圖像訓練集輸入預設的單字檢測和識別模型，對所述單字檢測和識別模型進行訓練；

獲取文本行圖像測試集，輸入所述文本行識別模型，輸出文本行識別結果；

評估所述文本行識別結果中各字符的置信度和能量；

在確定所述文本行識別結果中任一字符的置信度小于預設的置信度閾值或所述字符的能量大于預設的能量閾值時，以所述文本行圖像中的相應字符為中心，裁切預設寬度的字符測試子圖像；

對于各字符測試子圖像，輸入所述單字檢測和識別模型，輸出相應的字符識別結果；

結合所述文本行識別結果和相應的字符識別結果，得到所述文本行圖像測試集的字符識別測試結果；

基于所述字符識別測試結果是否達到預設的性能評估指標確定是否對所述文本行識別模型以及所述單字檢測和識別模型繼續進行訓練，直至所述字符識別測試結果達到預設的性能評估指標。

2.根據權利要求1所述的方法，其中，所述分別獲取文本行圖像訓練集和字符圖像訓練集，包括：

將第一文本行圖像訓練集和第二文本行圖像訓練集按照相應訓練批次預設的第一混合比例進行混合，得到所述文本行圖像訓練集；其中，所述第一文本行圖像訓練集為對采集的真實文本圖像進行裁切得到；所述第二文本行圖像訓練集為通過收集不同字體的字庫，并按照文本行中文字的排布規則合成文本行得到；

將第一字符圖像訓練集和第二字符圖像訓練集按照相應訓練批次預設的第二混合比例進行混合，得到所述字符圖像訓練集；其中，所述第一字符圖像訓練集為對采集的真實文本圖像進行裁切得到；所述第二字符圖像訓練集為通過收集不同字體的字庫，并按照文本行中文字的排布規則合成文本圖像后進行裁切得到。

3.根據權利要求2所述的方法，其中，將第一文本行圖像訓練集和第二文本行圖像訓練集按照相應訓練批次預設的第一混合比例進行混合，以及將第一字符圖像訓練集和第二字符圖像訓練集按照相應訓練批次預設的第二混合比例進行混合，使得經所述文本行圖像訓練集訓練得到的所述文本行識別模型和經所述字符圖像訓練集訓練得到的所述單字檢測和識別模型達到預設的泛化性能指標閾值。

4.根據權利要求1所述的方法，其中，所述文本行識別模型包括：卷積循環神經網絡。

5.根據權利要求1-4任一項所述的方法，其中，還包括：對所述文本行圖像訓練集和字符圖像訓練集執行圖像增廣操作。

6.根據權利要求5所述的方法，其中，所述對所述文本行圖像訓練集和字符圖像訓練集執行圖像增廣操作，包括：

對所述文本行圖像訓練集和字符圖像訓練集按照相應訓練批次設置的超參數執行圖像增廣操作，所述超參數隨著訓練批次的增加而衰減。

7.一種文本識別方法，其中，包括：

獲取待識別的文本行圖像；

對所述文本行圖像采用訓練完成的文本行識別模型進行行文本識別，得到文本行識別結果；

評估所述文本行識別結果中各字符的置信度和能量；

在確定所述文本行識別結果中任一字符的置信度小于預設的置信度閾值或所述字符的能量大于預設的能量閾值時，以所述文本行圖像中的相應字符為中心，裁切預設寬度的字符子圖像；

對于各字符子圖像，采用訓練完成的單字檢測和識別模型進行單字檢測和識別，輸出相應的字符識別結果；

結合所述文本行識別結果和相應的字符識別結果，得到所述文本行圖像的字符識別結果。

8.根據權利要求7所述的方法，其中，所述文本行識別模型包括：卷積循環神經網絡。