[發明專利]一種圖像中字符識別方法、裝置和介質

有效

• 申請號: 201711285566.3
• 申請日: 2017-12-07
• 公開（公告）號: CN108288078B
• 公開（公告）日: 2020-09-29
• 發明（設計）人: 麻文華;江修才;劉海龍;劉博
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06K9/68
• 分類號: G06K9/68;G06N3/04;G06N3/08
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 郭潤湘

本發明公開了一種圖像中字符識別方法、裝置和介質，降低圖像中字符識別的復雜度，提高字符識別效率。所述圖像中字符識別方法，包括：確定輸入圖像中包含的文本串區域圖像；利用特征提取模型提取所述文本串區域圖像的特征得到多個特征圖像，所述特征提取模型為利用卷積神經網絡算法對預先生成的訓練圖像樣本進行訓練得到的；基于所述多個特征圖像組成的特征圖像序列，利用識別概率模型確定所述特征圖像序列中每一特征圖像對應于預先定義的每一字符的概率值，所述識別概率模型為利用循環神經網絡算法對訓練圖像樣本進行訓練得到；根據識別概率模型輸出的每一特征圖像對應于預先定義的每一字符概率值，確定所述特征圖像序列對應的字符序列。

技術領域

本發明涉及計算機技術領域，尤其涉及一種圖像中字符識別方法、裝置和介質。

背景技術

本部分旨在為權利要求書中陳述的本發明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現有技術。

圖像中的文本信息作為其內容描述的一種形式，包含了十分豐富且重要的表達信息。采用文本這種高級語義形式，在對圖像內容理解和索引方面，具有十分重要的價值。另外，對圖像中的文字進行識別，將其轉換為文本文字，從而減輕了用戶輸入對應文字信息的負擔，方便用戶存儲、編輯對應的文字信息。因此，如何識別圖像中包含的文字成為當下研究的熱點問題之一。

發明內容

本發明實施例提供一種通用的圖像中字符識別方法、裝置和介質，用以識別圖像中包含的字符。

第一方面，提供一種圖像中字符識別方法，包括：

確定輸入圖像中包含的文本串區域圖像；

利用特征提取模型提取所述文本串區域圖像的特征得到多個特征圖像，所述特征提取模型為利用卷積神經網絡算法對預先生成的訓練圖像樣本進行訓練得到的；

基于所述多個特征圖像組成的特征圖像序列，利用識別概率模型確定所述特征圖像序列中每一特征圖像對應于預先定義的每一字符的概率值，所述識別概率模型為利用循環神經網絡算法對所述訓練圖像樣本進行訓練得到；

根據所述識別概率模型輸出的每一特征圖像對應于預先定義的每一字符概率值，確定所述特征圖像序列對應的字符序列。

可選地，針對不同長度的字符串分別進行訓練得到對應的特征提取模型和識別概率模型；以及

在利用預先訓練得到的特征提取模型提取所述文本串區域圖像的特征得到多個特征圖像之前，還包括：

確定所述文本串區域圖像的寬高比；

根據確定出的寬高比確定所述文本串區域圖像對應的特征提取模型和識別概率模型。

可選地，在特征提取模型和識別概率模型訓練結束后，還包括：

針對每一訓練圖像樣本，確定利用所述特征提取模型和識別概率模型對該訓練樣本進行處理后得到的概率矩陣中所包含的每一概率向量對應的特征圖像，所述特征圖像為針對該訓練樣本，利用所述特征提取模型進行處理得到；

針對該訓練圖像樣本包含的每一特征圖像，根據該特征圖像對應的概率向量中最大概率值對該特征圖像進行標注得到標注圖像樣本；

利用所述標注圖像樣本對所述特征提取模型繼續進行訓練，直至利用所述特征提取模型對所述標注圖像樣本處理得到的每一特征圖像對應的概率值達到預設閾值。

可選地，針對每一訓練圖像樣本，按照以下公式確定所述概率矩陣中所包含的每一概率向量對應的特征圖像：

recWidth_i＝recWidth_i-1*SW_i+KW_i，其中：

i為預先定義的網絡結構的層標識；