[發明專利]模型訓練和文本識別方法、裝置以及存儲介質

在審

• 申請號: 202210138219.2
• 申請日: 2022-02-15
• 公開（公告）號: CN114495087A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 達鋮;王鵬;姚聰
• 申請（專利權）人: 阿里巴巴（中國）有限公司
• 主分類號: G06V20/62
• 分類號: G06V20/62;G06V30/146;G06V10/422;G06V30/19;G06V10/80;G06K9/62
• 代理公司: 北京合智同創知識產權代理有限公司 11545
• 代理人: 李杰;楊雷

1.一種模型訓練方法，包括：

獲取目標圖像的圖像特征和文本特征；

融合所述圖像特征和文本特征，得到所述目標圖像的圖文特征；

基于所述圖文特征和所述文本特征的校正文本標簽，對文本校正模型進行訓練，所述文本校正模型用于對所述文本特征進行校正。

2.根據權利要求1所述的方法，其中，所述獲取目標圖像的圖像特征和文本特征，包括：

對目標圖像進行特征提取，得到圖像特征；

對所述圖像特征進行文本識別，得到文本特征。

3.根據權利要求1所述的方法，其中，所述融合所述圖像特征和文本特征，得到所述目標圖像的圖文特征，包括：

將所述圖像特征的維度表示和所述文本特征的維度表示進行拼接，得到所述目標圖像的圖文特征。

4.根據權利要求1所述的方法，其中，所述文本校正模型包括上下文融合層和校正層，所述上下文融合層的輸出連接到所述校正層的輸入，

所述基于所述圖文特征和所述文本特征的校正文本標簽，對文本校正模型進行訓練，包括：

基于所述圖文特征作為所述上下文融合層的輸入，并且基于所述校正文本標簽作為所述校正層的輸出，訓練所述文本校正模型，

其中，所述上下文融合層用于對所述文本特征和所述圖像特征進行上下文融合，所述校正層用于對上下文融合后的圖文特征進行校正。

5.根據權利要求4所述的方法，其中，所述校正層包括刪除操作模塊和插入操作模塊，所述刪除操作模塊的輸出連接到所述插入操作模塊的輸入，所述刪除操作模塊的輸入作為所述校正層的輸入，所述插入操作模塊的輸出作為所述校正層的輸出，

所述刪除操作模塊用于對上下文融合后的圖文特征進行字符刪除，

所述插入操作模塊用于對刪除字符的圖文特征進行字符插入。

6.根據權利要求5所述的方法，其中，所述插入操作模塊包括占位符添加模塊和字符預測模塊，所述刪除操作模塊的輸入作為所述插入操作模塊的輸入，所述刪除操作模塊的輸出連接到所述占位符添加模塊的輸入，所述占位符添加模塊的輸出作為所述插入操作模塊的輸出，

其中，所述占位符添加模塊用于對刪除字符的圖文特征進行占位符添加，

所述字符預測模塊用于對添加占位符的圖文特征中的占位符進行字符預測。

7.一種文本識別方法，包括：

對待識別圖像進行特征提取，得到所述待識別圖像的圖像特征；

融合所述圖像特征和所述待識別圖像的文本特征，得到所述待識別圖像的圖文特征；

基于所述圖文特征輸入到文本校正模型，得到所述文本特征的校正文本，所述文本校正模型利用根據權利要求1-6中任一項所述的方法訓練得到。

8.根據權利要求7所述的方法，其中，所述基于所述圖文特征輸入到文本校正模型，得到所述文本特征的校正文本，包括：

基于所述圖文特征輸入到文本校正模型，得到所述文本特征的初始校正文本；

基于所述初始校正文本替代所述文本特征，更新所述圖文特征。

9.根據權利要求7所述的方法，其中，所述方法還包括：

基于所述待識別圖像的圖像特征進行文本識別，得到所述待識別圖像的文本特征。

10.根據權利要求7所述的方法，其中，所述方法還包括：

獲取識別服務請求，所述識別服務請求中包括所述待識別圖像；

響應所述識別服務請求，返回所述文本特征的校正文本。

11.一種文本識別方法、包括：

獲取人機交互界面中針對待識別圖像輸入的觸發指令；

響應所述觸發指令，基于所述待識別圖像，生成識別服務請求；

發送所述識別服務請求，以基于權利要求7-10中任一項所述的文本識別方法進行文本識別；

獲取所述文本特征的校正文本。