[發(fā)明專利]圖像文本識別方法、裝置、電子設備及存儲介質

在審

• 申請?zhí)枺?/td>: 202010437058.8
• 申請日: 2020-05-21
• 公開（公告）號: CN111626293A
• 公開（公告）日: 2020-09-04
• 發(fā)明（設計）人: 曹中強
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產(chǎn)權代理有限公司 11002
• 代理人: 苗曉靜

1.一種圖像文本識別方法，其特征在于，包括：

根據(jù)待識別圖像獲取圖形特征和圖形位置特征，所述圖形特征為具有像素信息的特征，所述圖形位置特征為具有2D坐標信息的特征；

根據(jù)所述圖形特征和圖形位置特征獲得融合特征，所述融合特征為圖形特征和圖形位置特征融合后的特征；

對所述融合特征進行基于注意力機制的編碼和解碼，獲得待識別圖像中的文本信息。

2.根據(jù)權利要求1所述的圖像文本識別方法，其特征在于，根據(jù)待識別圖像獲取圖形位置特征，包括：

對待識別圖像進行位置編碼確定圖像在高度方向和寬度方向上的位置編碼；

根據(jù)圖形特征采用平均池化處理和激活函數(shù)運算確定圖像的高尺度因子和寬尺度因子；

根據(jù)圖像在高度方向和寬度方向上的位置編碼、高尺度因子和寬尺度因子確定圖形位置特征。

3.根據(jù)權利要求2所述的圖像文本識別方法，其特征在于，所述根據(jù)圖像在高度方向和寬度方向上的位置編碼、高尺度因子和寬尺度因子確定圖形位置特征，包括：

采用2D坐標信息編碼公式獲得圖形位置特征；

其中，所述2D坐標信息編碼公式包括：

p_hw為位置編碼，E為圖形特征，α(E)為圖像的高尺度因子，β(E)為圖像的寬尺度因子，根據(jù)E確定，具體如下：

其中，g(.)表示平均池化，表示權重，sigmoid為激活函數(shù)；

為高度方向上的位置編碼，為寬度方向上的位置編碼，由如下公式獲得：

其中，p為位置坐標，D為位置特征向量的長度，i為位置特征向量的長度的計算維度。

4.根據(jù)權利要求1所述的圖像文本識別方法，其特征在于，所述對所述融合特征進行基于注意力機制的編碼和解碼，獲得待識別圖像中的文本信息，包括：

將所述融合特征輸入到編碼器中進行基于注意力機制的全局語義編碼，得到編碼特征；

將編碼特征和文本嵌入向量輸入到解碼器中進行基于注意力機制的解碼，得到待識別圖像中的文本信息，所述文本嵌入向量為已識別出的文本字符的字符編碼經(jīng)一維位置編碼形成的特征向量，所述文本字符為文本信息中的字符。

5.根據(jù)權利要求4所述的圖像文本識別方法，其特征在于，所述將所述融合特征輸入到編碼器中進行基于注意力機制的全局語義編碼，得到編碼特征，包括：

將所述融合特征依次輸入到編碼器中的至少兩個結構相同的層堆砌中，所述層堆砌中的全局語義注意力模塊對融合特征進行全局語義編碼，然后由所述層堆砌中的前饋網(wǎng)絡輸出，得到編碼特征；

其中，所述全局語義注意力模塊包括至少一個全局注意力功能模塊和一個瓶頸模塊，至少一個全局注意力功能模塊依次經(jīng)過層級連接后，與瓶頸模塊連接。

6.根據(jù)權利要求5所述的圖像文本識別方法，其特征在于，所述層堆砌中的全局語義注意力模塊對融合特征進行全局語義編碼，包括：

將所述融合特征依次輸入到全局語義注意力模塊中的至少一個全局注意力功能模塊和瓶頸模塊中，使全局注意力功能模塊和瓶頸模塊進行全局語義編碼獲得全局語義特征。

7.根據(jù)權利要求1所述的圖像文本識別方法，其特征在于，還包括：

采用淺層卷積神經(jīng)網(wǎng)絡對待識別圖像進行特征提取獲取圖形特征。

8.一種圖像文本識別裝置，其特征在于，包括：

獲取模塊，用于根據(jù)待識別圖像獲取圖形特征和圖形位置特征，所述圖形特征為具有像素信息的特征，所述圖形位置特征為具有2D坐標信息的特征；

處理模塊，用于根據(jù)所述圖形特征和圖形位置特征獲得融合特征，所述融合特征為圖形特征和圖形位置特征融合后的特征；

識別模塊，用于對所述融合特征進行基于注意力機制的編碼和解碼，獲得待識別圖像中的文本信息。