[發明專利]字符識別方法、裝置、計算機設備以及存儲介質

有效

• 申請號: 201910387655.1
• 申請日: 2019-05-10
• 公開（公告）號: CN110097019B
• 公開（公告）日: 2023-01-10
• 發明（設計）人: 呂鵬原;楊志成;冷欣航;李睿宇;沈小勇;戴宇榮;賈佳亞
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V30/19;G06V30/10
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種字符識別方法，其特征在于，所述方法包括：

提取待識別的圖像的二維圖像特征，所述二維圖像特征包括多個圖像特征向量；

將所述多個圖像特征向量輸入字符識別模型的關系注意力模塊，通過所述關系注意力模塊每一層中的轉換單元對每個圖像特征向量與其他圖像特征向量在注意力映射空間進行相似度計算，以得到各個圖像特征向量的權重，并基于得到的權重做線性加權，對所述線性加權得到的特征向量進行非線性處理，得到每個圖像特征向量的依賴特征向量，依賴特征向量用于表示圖像信息以及圖像特征向量與其他圖像特征向量之間的依賴關系；

基于所述多個圖像特征向量的依賴特征向量，通過并行計算，獲取目標數量的注意力權值，注意力權值用于表示圖像特征向量的重要程度；

根據所述多個圖像特征向量和所述目標數量的注意力權值，得到至少一個字符。

2.根據權利要求1所述的方法，其特征在于，所述提取待識別的圖像的二維圖像特征包括：

將所述圖像輸入卷積神經網絡，通過所述卷積神經網絡中主干網絡的各個通道對所述圖像進行特征提取，輸出所述二維圖像特征。

3.根據權利要求2所述的方法，其特征在于，所述卷積神經網絡中主干網絡包括所述卷積神經網絡中除去分類模塊的剩余結構。

4.根據權利要求1所述的方法，其特征在于，所述將所述多個圖像特征向量輸入字符識別模型的關系注意力模塊之前，所述方法還包括：

對所述二維圖像特征中的各個圖像特征向量進行拼接，得到特征序列；

基于各個圖像特征向量在所述特征序列中的位置，為每個圖像特征向量確定與每個圖像特征向量的維度相同的位置向量；

將每個圖像特征向量與對應的位置向量相加，得到處理后的所述多個圖像特征向量。

5.根據權利要求1所述的方法，其特征在于，所述基于所述多個圖像特征向量的依賴特征向量，通過并行計算，獲取目標數量的注意力權值包括：

將所述多個圖像特征向量的依賴特征向量輸入并行注意力模塊，通過所述并行注意力模塊中的目標數量的輸出節點并行對輸入的特征向量進行計算，輸出所述目標數量的注意力權值。

6.根據權利要求1所述的方法，其特征在于，所述根據所述多個圖像特征向量和所述目標數量的注意力權值，得到至少一個字符包括：

根據所述多個圖像特征向量和所述目標數量的注意力權值，得到至少一個注意力特征；

對所述至少一個注意力特征進行解碼，得到所述至少一個字符。

7.根據權利要求6所述的方法，其特征在于，所述對所述至少一個注意力特征進行解碼，得到所述至少一個字符包括：

將所述至少一個注意力特征輸入字符識別模型的解碼模塊中，對于每個注意力特征，通過所述解碼模塊獲取所述注意力特征的依賴特征向量，對所述注意力特征對應的依賴特征向量進行解碼，將解碼所得到的字符中概率最大的字符作為所述注意力特征對應的字符輸出。

8.一種字符識別裝置，其特征在于，所述裝置包括：

特征提取單元，用于提取待識別的圖像的二維圖像特征，所述二維圖像特征包括多個圖像特征向量；

依賴關系獲取單元，用于將所述多個圖像特征向量輸入字符識別模型的關系注意力模塊，通過所述關系注意力模塊每一層中的轉換單元對每個圖像特征向量與其他圖像特征向量在注意力映射空間進行相似度計算，以得到各個圖像特征向量的權重，并基于得到的權重做線性加權，對所述線性加權得到的特征向量進行非線性處理，得到每個圖像特征向量的依賴特征向量，依賴特征向量用于表示圖像信息以及圖像特征向量與其他圖像特征向量之間的依賴關系；

并行處理單元，用于基于所述多個圖像特征向量的依賴特征向量，通過并行計算，獲取目標數量的注意力權值，注意力權值用于表示圖像特征向量的重要程度；

字符獲取單元，用于根據所述多個圖像特征向量和所述目標數量的注意力權值，得到至少一個字符。