[發明專利]文字識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010541723.8
• 申請日: 2020-06-15
• 公開（公告）號: CN111899292A
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 宋祺;姜仟藝;張睿
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06T7/40
• 分類號: G06T7/40;G06N3/04;G06K9/62;G06K9/34
• 代理公司: 北京市隆安律師事務所 11323
• 代理人: 權鮮枝

1.一種文字識別方法，其特征在于，包括：

提取目標圖像的紋理特征；

基于第一類注意力機制對所述紋理特征進行過濾，得到注意力增強特征，其中，所述第一類注意力機制包括空間注意力機制和/或通道注意力機制；

基于第二類注意力機制和所述注意力增強特征得到文字識別結果，其中，所述第二類注意力機制包括互注意力機制。

2.根據權利要求1所述的方法，其特征在于，所述基于第一類注意力機制對所述紋理特征進行過濾，得到注意力增強特征包括：

基于所述第一類注意力機制生成所述紋理特征的信息矯正掩模；

將生成的各信息矯正掩模分別與所述紋理特征進行融合，得到相應的注意力增強特征。

3.根據權利要求1所述的方法，其特征在于，所述第一類注意力機制還包括全局注意力機制和/或局部注意力機制。

4.根據權利要求3所述的方法，其特征在于，所述基于第二類注意力機制和所述注意力增強特征得到文字識別結果包括：

將基于所述全局注意力機制得到的注意力增強特征作為互注意力機制的V輸入和K輸入，將基于所述局部注意力機制得到的注意力增強特征作為互注意力機制的Q輸入。

5.根據權利要求1所述的方法，其特征在于，所述第二類注意力機制還包括自注意力機制，所述基于第二類注意力機制和所述注意力增強特征得到文字識別結果包括：

利用所述自注意力機制確定文字預測結果；

基于所述互注意力機制、所述注意力增強特征和所述文字預測結果得到文字識別結果。

6.根據權利要求5所述的方法，其特征在于，所述自注意力機制通過文字識別模型中的自注意力模塊實現；

在訓練所述文字識別模型時，所述自注意力模塊根據輸入的訓練圖像的標注信息輸出自注意力特征，以使文字識別模型根據自注意力特征和注意力增強特征的融合后的特征確定文字識別結果。

7.根據權利要求1-6中任一項所述的方法，其特征在于，所述方法應用于文字識別模型中，所述文字識別模型訓練時使用的訓練圖像經過如下的至少一項預處理：旋轉、形變、色彩變換。

8.一種文字識別裝置，其特征在于，該裝置包括：

特征提取單元，用于提取目標圖像的紋理特征；

注意力加強單元，用于基于第一類注意力機制對所述紋理特征進行過濾，得到注意力增強特征，其中，所述第一類注意力機制包括空間注意力機制和/或通道注意力機制；

識別單元，用于基于第二類注意力機制和所述注意力增強特征得到文字識別結果，其中，所述第二類注意力機制包括互注意力機制。

9.一種電子設備，其中，該電子設備包括：處理器；以及被安排成存儲計算機可執行指令的存儲器，所述可執行指令在被執行時使所述處理器執行如權利要求1-7中任一項所述的方法。

10.一種計算機可讀存儲介質，其中，所述計算機可讀存儲介質存儲一個或多個程序，所述一個或多個程序當被處理器執行時，實現如權利要求1-7中任一項所述的方法。