[發明專利]文字識別、文字識別模型的訓練方法、裝置和電子設備

有效

• 申請號: 202011012497.0
• 申請日: 2020-09-23
• 公開（公告）號: CN112270316B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 張婕蕾;萬昭祎;姚聰
• 申請（專利權）人: 北京曠視科技有限公司
• 主分類號: G06V30/224
• 分類號: G06V30/224;G06V30/19;G06V10/82;G06N3/0442;G06N3/045;G06N3/08
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 安衛靜

1.一種文字識別方法，其特征在于，應用于文字識別模型，所述文字識別模型包括：注意力模型和多個循環神經網絡，所述注意力模型和每個循環神經網絡相連接，多個循環神經網絡串聯連接，其中，多個循環神經網絡中的部分或者全部循環神經網絡的輸入數據不包含上一個與之相連的循環神經網絡的輸出數據；所述方法包括：

通過注意力模型對待識別圖像的特征向量進行處理，得到每個循環神經網絡的注意力權重值；

基于每個所述循環神經網絡的目標概率確定每個所述循環神經網絡的目標輸入參數，其中，所述目標輸入參數包括：所述待識別圖像的特征向量，或者，所述待識別圖像的特征向量和當前循環神經網絡的上一個循環神經網絡輸出的字符識別結果，所述目標概率用于確定所述目標輸入參數中是否包含所述上一個循環神經網絡輸出的字符識別結果；

將所述目標輸入參數和所述注意力權重值輸入至每個循環神經網絡進行處理，得到字符識別結果，并將最后一個循環神經網絡輸出的字符識別結果確定為所述待識別圖像的字符識別結果，其中，所述字符識別結果表示待識別字符所屬于各個預設字符的概率。

2.根據權利要求1所述的方法，其特征在于，基于每個所述循環神經網絡的目標概率確定每個所述循環神經網絡的目標輸入參數包括：

若確定出預先為每個循環神經網絡設置了對應的目標概率，判斷所述目標概率是否大于或者等于預設概率閾值；

若所述目標概率大于或者等于預設概率閾值，則確定每個循環神經網絡的目標輸入參數中包含所述上一個循環神經網絡輸出的字符識別結果和所述待識別圖像的特征向量。

3.根據權利要求2所述的方法，其特征在于，確定每個循環神經網絡所對應的目標概率包括：

通過概率生成器為每個循環神經網絡隨機生成所述目標概率；

或者；

通過目標神經網絡為每個循環神經網絡隨機生成所述目標概率，其中，所述目標神經網絡的輸入參數包括：每個循環神經網絡在所述多個循環神經網絡中的位置信息，每個循環神經網絡的注意力權重值，所述待識別圖像的特征向量。

4.根據權利要求1所述的方法，其特征在于，若全部第一循環神經網絡的輸入數據不包含上一個與之相連的第一循環神經網絡的輸出數據，則所述文字識別模型還包括：目標語言模型；所述目標語言模型包括：多個第二循環神經網絡，多個第二循環神經網絡串聯連接，多個第二循環神經網絡中的全部第二循環神經網絡的輸入數據包含上一個與之相連的第二循環神經網絡的輸出數據，且多個第二循環神經網絡與多個第一循環神經網絡一一對應連接。

5.一種文字識別模型的訓練方法，其特征在于，所述文字識別模型包括：注意力模型和多個第一循環神經網絡，所述注意力模型和每個第一循環神經網絡相連接，多個第一循環神經網絡串聯連接，其中，多個第一循環神經網絡中的部分或者全部第一循環神經網絡的輸入數據不包含上一個與之相連的第一循環神經網絡的輸出數據；所述方法包括：

通過注意力模型對訓練集語料的特征向量進行處理，得到每個第一循環神經網絡的注意力權重值；

基于每個所述第一循環神經網絡的目標概率確定每個所述第一循環神經網絡的目標輸入參數，其中，所述目標輸入參數包括：待識別圖像的特征向量，或者，所述訓練集語料的特征向量和目標第一循環神經網絡的上一個第一循環神經網絡輸出的字符識別結果，所述目標概率用于確定所述目標輸入參數中是否包含所述上一個第一循環神經網絡輸出的字符識別結果；

利用所述目標輸入參數、所述注意力權重值和目標標簽信息對所述文字識別模型進行訓練，得到訓練之后的所述文字識別模型，其中，所述目標標簽信息為所述訓練集語料中所包含的實際文字序列。

6.根據權利要求5所述的方法，其特征在于，基于每個所述第一循環神經網絡的目標概率確定每個所述第一循環神經網絡的目標輸入參數包括：

若確定出預先為每個第一循環神經網絡設置了對應的目標概率，則判斷所述目標概率是否大于或者等于預設概率閾值；

若所述目標概率大于或者等于預設概率閾值，則確定所述目標第一循環神經網絡的目標輸入參數中包含所述上一個第一循環神經網絡輸出的字符識別結果和所述訓練集語料的特征向量。