[發明專利]模型訓練方法、文本識別方法、裝置、設備和介質

有效

• 申請號: 202111464610.3
• 申請日: 2021-12-03
• 公開（公告）號: CN113887535B
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 秦勇
• 申請（專利權）人: 北京世紀好未來教育科技有限公司
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V10/774;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 唐博

1.一種文本識別模型訓練方法，其特征在于，包括：

利用第一訓練樣本訓練第一候選模型中的第一候選分支和第二候選分支，得到訓練后的第一目標分支，其中，所述第一目標分支為所述第一候選分支訓練后對應的分支，所述第一訓練樣本包括第一文本圖像以及第一文本圖像對應的文本字符，所述第二候選分支采用循環神經網絡；

基于所述訓練后的第一目標分支和第三候選分支構建第二候選模型，并利用第二訓練樣本訓練所述第二候選模型得到所述文本識別模型，所述第二訓練樣本包括第二文本圖像以及第二文本圖像對應的文本字符，所述第三候選分支采用圖神經網絡；

其中，所述利用第一訓練樣本訓練第一候選模型中的第一候選分支和第二候選分支，得到訓練后的第一目標分支，包括：

將所述第一訓練樣本中的第一文本圖像輸入所述第一候選模型，得到第一預測結果；

基于第一預設損失函數，根據所述第一預測結果和所述第一訓練樣本中的與所述第一文本圖像對應的文本字符，對所述第一候選模型中的第一候選分支和第二候選分支進行訓練，獲得第一候選分支經訓練后對應的第一目標分支；

其中，所述利用第二訓練樣本訓練所述第二候選模型得到所述文本識別模型，包括：

將所述第二訓練樣本中的第二文本圖像輸入第二候選模型，得到第二預測結果；

基于第二預設損失函數，根據所述第二預測結果和所述第二訓練樣本中的與所述第二文本圖像對應的文本字符，對所述第二候選模型中的第三候選分支進行訓練，獲得訓練后的第三目標分支；

基于所述第一目標分支和所述第三目標分支，生成所述文本識別模型。

2.根據權利要求1所述的方法，其特征在于，所述將所述第一訓練樣本中的第一文本圖像輸入所述第一候選模型，得到第一預測結果，包括：

通過所述第一候選模型中的第一候選分支對所述第一文本圖像進行第一特征提取，得到第一文本圖像對應的第一圖像特征，其中，所述第一圖像特征為經過殘差網絡提取的特征映射圖；

通過所述第一候選模型的第二候選分支對所述第一圖像特征進行第二特征提取，得到第二圖像特征，并對所述第二圖像特征進行解碼轉錄，得到第一預測文本字符，其中，所述第二圖像特征為經過雙向長短期記憶神經網絡提取的特征映射圖。

3.根據權利要求2所述的方法，其特征在于，所述第一候選分支包括殘差網絡，所述殘差網絡包括依次串聯的N個殘差塊，其中，N為大于1的正整數；

所述通過所述第一候選模型中的第一候選分支對所述第一文本圖像進行第一特征提取，得到第一文本圖像對應的第一圖像特征，包括：

拼接前N-1個殘差塊輸出的特征映射，獲得拼接特征映射；

將所述拼接特征映射與第N個殘差塊提取的特征映射進行逐點相加，得到所述第一圖像特征。

4.根據權利要求2所述的方法，其特征在于，所述第二候選分支包括雙向長短期記憶網絡、自注意力層和門控循環網絡；

所述通過所述第一候選模型的第二候選分支對所述第一圖像特征進行第二特征提取，得到第二圖像特征，并對所述第二圖像特征進行解碼轉錄，得到第一預測文本字符，包括：

通過所述第二候選分支的雙向長短期記憶網絡對所述第一圖像特征進行第二特征提取，得到與所述第一圖像特征對應的第二圖像特征；

通過所述第二候選分支的自注意力層和門控循環網絡對所述第二圖像特征進行解碼轉錄，得到第一預測文本字符。

5.根據權利要求1所述的方法，其特征在于，所述基于第一預設損失函數，根據所述第一預測結果和所述第一訓練樣本中的與所述第一文本圖像對應的文本字符，對所述第一候選模型中的第一候選分支和第二候選分支進行訓練，獲得第一候選分支經訓練后對應的第一目標分支，包括：

基于第一預設損失函數，根據所述第一預測結果和所述第一訓練樣本中與所述第一文本圖像對應的文本字符，確定第一損失值；

根據所述第一損失值調整所述第一候選模型中的第一候選分支的參數和所述第二候選分支的參數，直至第一候選模型收斂，獲得所述第一目標分支。