[發明專利]圖像文本識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202010437058.8
• 申請日: 2020-05-21
• 公開（公告）號: CN111626293A
• 公開（公告）日: 2020-09-04
• 發明（設計）人: 曹中強
• 申請（專利權）人: 咪咕文化科技有限公司;中國移動通信集團有限公司
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 苗曉靜

本發明實施例提供一種圖像文本識別方法、裝置、電子設備及存儲介質，該方法包括：根據待識別圖像獲取圖形特征和圖形位置特征，所述圖形特征為具有像素信息的特征，所述圖形位置特征為具有2D坐標信息的特征；根據所述圖形特征和圖形位置特征獲得融合特征，所述融合特征為圖形特征和圖形位置特征融合后的特征；根據所述融合特征獲得待識別圖像中的文本信息。本發明實施例提供的圖像文本識別方法、裝置、電子設備及存儲介質，通過對待識別圖像進行2D位置編碼，使對待識別圖像分析得到的圖形特征具有方向位置上的信息，從而有效的應對物品上文字分布多樣性的情況，提高識別準確率。

技術領域

本發明涉及視頻技術領域，尤其涉及一種圖像文本識別方法、裝置、電子設備及存儲介質。

背景技術

當前的場景文字識別成為計算機視覺行業研究的熱點領域之一，有著廣泛的應用前景。比如廣告牌識別、車牌識別、銀行卡信息錄入等場景。但在實際應用中，受限于圖像模糊、文字排列角度不規則、背景復雜等因素，高質量的場景文字識別也是一項艱巨的任務。

針對場景文字排列規則的情況，目前存在很多方案可以完成較好的文本識別效果，但針對場景文字排列不規則的情況，其文本識別效果較差。

發明內容

針對現有技術存在的問題，本發明實施例提供一種圖像文本識別方法、裝置、電子設備及存儲介質。

第一方面，本發明實施例提供一種圖像文本識別方法，包括：

根據待識別圖像獲取圖形特征和圖形位置特征，所述圖形特征為具有像素信息的特征，所述圖形位置特征為具有2D坐標信息的特征；

根據所述圖形特征和圖形位置特征獲得融合特征，所述融合特征為圖形特征和圖形位置特征融合后的特征；

對所述融合特征進行基于注意力機制的編碼和解碼，獲得待識別圖像中的文本信息。

進一步地，對待識別圖像獲取圖形位置特征，包括：

對待識別圖像進行位置編碼確定圖像在高度方向和寬度方向上的位置編碼；

根據圖形特征采用平均池化處理和激活函數運算確定圖像的高尺度因子和寬尺度因子；

根據圖像在高度方向和寬度方向上的位置編碼、高尺度因子和寬尺度因子確定圖形位置特征。

進一步地，所述根據圖像在高度方向和寬度方向上的位置編碼、高尺度因子和寬尺度因子確定圖形位置特征，包括：

采用2D坐標信息編碼公式獲得圖形位置特征；

其中，所述2D坐標信息編碼公式包括：

為位置編碼，E為圖形特征，α(E)為圖像的高尺度因子，β(E)為圖像的寬尺度因子，根據E確定，具體如下；

其中，g(.)表示平均池化,表示權重，sigmoid為激活函數；

為高度方向上的位置編碼，為寬度方向上的位置編碼，由如下公式獲得：

其中，p為位置坐標，D為位置特征向量的長度，i為位置特征向量的長度的計算維度。

進一步地，所述對所述融合特征進行基于注意力機制的編碼和解碼，獲得待識別圖像中的文本信息，包括：

將所述融合特征輸入到編碼器中進行基于注意力機制的全局語義編碼，得到編碼特征；