[發明專利]基于多任務的模型訓練方法、字符識別方法及裝置

在審

• 申請號: 202010151852.6
• 申請日: 2020-03-06
• 公開（公告）號: CN111401374A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 吳紅;歐陽潘義;向釗豫
• 申請（專利權）人: 湖南快樂陽光互動娛樂傳媒有限公司
• 主分類號: G06K9/34
• 分類號: G06K9/34;G06N3/04;G06N3/08
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張靜

1.一種字符識別模型的訓練方法，其特征在于，包括：

獲取訓練樣本；所述訓練樣本為包含字符的圖片；

對所述訓練樣本進行預處理；

采用編碼器提取訓練樣本中字符的特征；

將提取到的訓練樣本的字符特征分別輸入到CTC神經網絡的時序分類模型和注意力模型中進行解碼操作，并獲取CTC神經網絡的時序類分類模型的損失以及注意力模型的損失；

基于CTC神經網絡的時序分類模型的損失以及注意力模型的損失，計算聯合損失；

基于聯合損失對編碼器、CTC神經網絡的時序分類模型和注意力模型進行訓練。

2.根據權利要求1所述的方法，其特征在于，所述預設的編碼器包括：深度卷積神經網絡模型和雙向長短記憶網絡模型；

所述采用預設的編碼器提取訓練樣本中字符的特征信息，包括：

采用卷積神經網絡模型提取所述訓練樣本中第一特征；

將所述第一特征信息輸入到雙向長短記憶網絡模型中，提取第二特征；所述第二特征為保證各字符之間關聯關系的特征。

3.根據權利要求1所述的方法，其特征在于，所述基于CTC神經網絡的時序分類模型的損失以及注意力模型的損失，計算聯合損失，包括：

獲取CTC神經網絡的時序分類模型的損失以及注意力模型的損失的權重；

基于CTC神經網絡的時序分類模型的損失以及注意力模型的損失的權重，計算CTC神經網絡的時序分類模型的損失以及注意力模型的損失的加權和。

4.根據權利要求1所述的方法，其特征在于，所述基于聯合損失對編碼器、CTC神經網絡的時序分類模型和注意力模型進行訓練，包括：

應用梯度下降方法回傳聯合損失更新編碼器各層的參數；

應用梯度下降方法回傳聯合損失更新CTC神經網絡的時序分類模型各層的參數；

應用梯度下降方法回傳聯合損失更新注意力模型各層的參數。

5.根據權利要求1所述的方法，其特征在于，還包括：

獲取驗證樣本；所述驗證樣本與所述待識別的圖片類型一致；

將所述驗證樣本輸入到預先訓練的初始的字符識別模型中，得到第一預測結果和第二預測結果；所述第一預測結果是基于CTC神經網絡的時序分類模型輸出的結果，所述第二預測結果是基于注意力模型輸出的結果；所述初始的字符識別模型是通過上述權利要求1-5所述的方法訓練得到的；

基于第一預測結果和第二預測結果的準確度，確定執行對待識別的圖片進行識別操作的任務模型。

6.一種字符識別方法，其特征在于，包括：

獲取待識別的圖片；

將所述待識別的圖片進行預處理；

通過預先訓練的字符識別模型識別所述預處理后的圖片中的字符；所述字符識別模型是通過上述權利要求1-5所述的方法進行訓練得到的。

7.一種字符識別模型的訓練裝置，其特征在于，包括：

第一獲取單元，用于獲取訓練樣本；所述訓練樣本為包含字符的圖片；

第一預處理單元，用于對所述訓練樣本進行預處理；

特征提取單元，用于采用編碼器提取訓練樣本中字符的特征；

多任務解碼單元，用于將提取到的訓練樣本的字符特征分別輸入到CTC神經網絡的時序分類模型和注意力模型中進行解碼操作，并獲取CTC神經網絡的時序類分類模型的損失以及注意力模型的損失；

計算單元，用于基于CTC神經網絡的時序分類模型的損失以及注意力模型的損失，計算聯合損失；

訓練單元，用于基于聯合損失對編碼器、CTC神經網絡的時序分類模型和注意力模型進行訓練。

8.根據權利要求1所述的方法，其特征在于，所述預設的編碼器包括：深度卷積神經網絡模型和雙向長短記憶網絡模型；

所述特征提取單元，包括：

第一特征提取子單元，用于采用卷積神經網絡模型提取所述訓練樣本中第一特征；

第二特征提取子單元，用于將所述第一特征信息輸入到雙向長短記憶網絡模型中，提取第二特征；所述第二特征為保證各字符之間關聯關系的特征。