[發明專利]手寫字符識別方法、裝置、介質及電子設備

在審

• 申請號: 202110587664.2
• 申請日: 2021-05-27
• 公開（公告）號: CN113297986A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 尹成浩;張飛飛;馬志國;張明;楊明坤
• 申請（專利權）人: 新東方教育科技集團有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 李柯瑩

1.一種手寫字符識別方法，其特征在于，所述方法包括：

獲取包含手寫字符的原始字符圖像；

將所述原始字符圖像輸入到圖像校正模型中，得到所述圖像校正模型輸出的校正后的目標字符圖像；

將所述目標字符圖像輸入到特征提取模型中，得到所述特征提取模型輸出的目標特征圖，其中，所述特征提取模型用于對所述目標字符圖像的高度下采樣第一預設倍數，并用于對所述目標字符圖像的寬度下采樣第二預設倍數，所述第一預設倍數與所述目標字符圖像的高度相同，所述第二預設倍數小于所述第一預設倍數；

將所述目標特征圖輸入到字符識別模塊中，得到所述字符識別模塊輸出的所述手寫字符對應的識別字符。

2.根據權利要求1所述的方法，其特征在于，所述特征提取模型為殘差網絡模型，所述殘差網絡模型由以下網絡層依次連接構成：

第一卷積層、第一池化層、第一數量個第一殘差塊結構、第二卷積層、第二池化層、第二數量個第二殘差塊結構、第三卷積層、第三池化層、第三數量個第三殘差塊結構、第四卷積層、第四池化層、第四數量個第四殘差塊結構、第五卷積層、第五數量個第五殘差塊結構、第六卷積層、第七卷積層，所述第七卷積層用于輸出所述目標特征圖。

3.根據權利要求2所述的方法，其特征在于，

所述第一池化層用于對所述第一卷積層輸出的特征圖的寬度和高度均下采樣第三預設倍數，所述第二池化層用于對所述第二卷積層輸出的特征圖的寬度和高度均下采樣所述第三預設倍數，所述第三池化層用于對所述第三卷積層輸出的特征圖的高度下采樣所述第三預設倍數，并對所述第三卷積層輸出的特征圖的寬度進行卷積填充第一預設值，所述第四池化層用于對所述第四卷積層輸出的特征圖的高度下采樣所述第三預設倍數，并對所述第四卷積層輸出的特征圖的寬度進行卷積填充所述第一預設值，其中，所述第三預設倍數小于所述第二預設倍數。

4.根據權利要求2所述的方法，其特征在于，所述第一卷積層、所述第二卷積層、所述第三卷積層、所述第四卷積層、所述第五卷積層的卷積核大小相同且卷積核數量各不相同，所述第六卷積層與所述第七卷積層的卷積核大小相同且卷積核數量相同；

其中，所述第六卷積層用于對位于所述第六卷積層上一層的所述第五殘差塊結構輸出的特征圖的高度下采樣第四預設倍數，并用于對位于所述第六卷積層上一層的所述第五殘差塊結構輸出的特征圖的寬度進行卷積填充第二預設值，所述第七卷積層用于對所述第六卷積層輸出的特征圖的高度下采樣所述第四預設倍數，其中，所述第四預設倍數小于所述第二預設倍數。

5.根據權利要求2所述的方法，其特征在于，

所述第一殘差塊結構、所述第二殘差塊結構、所述第三殘差塊結構、所述第四殘差塊結構、所述第五殘差塊結構的卷積核大小相同，

所述第一殘差塊結構、所述第二殘差塊結構、所述第三殘差塊結構的卷積核數量各不相同，所述第四殘差塊結構與所述第五殘差塊結構的卷積核數量相同。

6.根據權利要求1所述的方法，其特征在于，所述目標字符圖像的高度為64，所述第一預設倍數為64倍，所述第二預設倍數為4倍。

7.根據權利要求1所述的方法，其特征在于，所述圖像校正模型用于通過如下方式得到所述目標字符圖像：

確定所述原始字符圖像中、位于所述手寫字符的上邊緣和下邊緣的指定數量個基準點；

根據所述指定數量個基準點進行樣條變換，得到采樣網格；

基于所述采樣網格進行雙線性插值采樣，得到校正后的所述目標字符圖像。

8.根據權利要求1所述的方法，其特征在于，所述字符識別模塊包括編碼模塊和解碼模塊；其中，所述編碼模塊包括雙層雙向長短期記憶網絡，所述雙層雙向長短期記憶網絡用于對所述目標特征圖進行特征編碼處理，得到序列特征；

所述解碼模塊包括鏈接時序分類模型和注意力機制模型，所述鏈接時序分類模型和所述注意力機制模型分別根據所述序列特征對所述手寫字符進行識別，所述解碼模塊用于將所述鏈接時序分類模型輸出的識別結果與所述注意力機制模型輸出的識別結果進行加權融合，得到所述手寫字符對應的識別字符。