[發明專利]用于識別圖像中字符的方法、裝置及介質

有效

• 申請號: 201810362577.5
• 申請日: 2018-04-20
• 公開（公告）號: CN108596168B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 楊朔;龔杰;孫俊;李偉
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06N3/04
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王衛忠;袁禮君

本公開提供了一種用于識別圖像中字符的方法，包括：獲取待識別圖像，所述待識別圖像中包括字符；利用深度神經網絡對所述待識別圖像進行識別，得到以行為單位的文本行圖像，所述文本行圖像中包括字符；利用循環神經網絡對所述文本行圖像進行識別，得到所述文本行圖像的字符內容。本公開還提供了一種用于識別圖像中字符的裝置及介質。

技術領域

本公開涉及互聯網技術領域，尤其涉及一種用于識別圖像中字符的方法、裝置及介質。

背景技術

隨著互聯網的興起，各種各樣的購物平臺應運而生。目前，在各種各樣的購物平臺上為了提高商品的銷量，通常以圖像的形式對商品進行描述，該圖像上包括用于描述該商品的簡短字符，這樣方便用戶快速的了解商品。而且購物平臺還可以借助大數據技術分析用戶的需求，然后從海量的商品中選取用戶可能感興趣的產品進行推薦。但是目前購物平臺的推薦系統只能分析字符內容，因此需要從商品圖像中提取出字符。現有技術采用傳統的光學字符識別(OCR)技術提取商品圖像中的字符。但是，在實現本發明構思的過程中，發明人發現現有技術中至少存在如下問題：采用傳統的光學字符識別(OCR)技術提取商品圖像中的字符的魯棒性和準確率不高。

發明內容

有鑒于此，本公開提供一種用于識別圖像中字符的方法、裝置及介質，進而至少部分地解決了由于相關技術的限制和缺陷而導致的一個或者多個問題。

本公開提供了一種用于識別圖像中字符的方法，包括：獲取待識別圖像，所述待識別圖像中包括字符；利用深度神經網絡對所述待識別圖像進行識別，得到以行為單位的文本行圖像，所述文本行圖像中包括字符；利用循環神經網絡對所述文本行圖像進行識別，得到所述文本行圖像的字符內容。

根據本公開的實施例，所述待識別圖像中的字符包括一個或多個，所述一個或多個字符的顏色、大小、字體、分布情況相同或不同。

根據本公開的實施例，利用深度神經網絡對所述待識別圖像進行識別，得到以行為單位的文本行圖像包括：將所述待識別圖像輸入到所述深度神經網絡，利用所述深度神經網絡中的卷積層和池化層從所述待識別圖像中提取出預定像素尺寸的特征圖；以預設數量的像素點為寬度，以數量可變的像素點為高度從所述特征圖中提取出所有的單列像素；基于所有的單列像素，生成以行為單位的所述特征圖的文本行圖像；根據所述特征圖的文本行圖像，從所述待識別圖像中確定出所述文本行圖像。

根據本公開的實施例，基于所有的單列像素，生成以行為單位的所述特征圖的文本行圖像包括：對所有的單列像素進行判斷，判斷所述單列像素是否為字符，根據判斷結果連接左右相鄰的單列像素，以生成所述特征圖的文本行圖像，所述左右相鄰的單列像素為字符的列像素；輸出所述特征圖的文本行圖像的數據。

根據本公開的實施例，根據所述特征圖的文本行圖像，從所述待識別圖像中確定出所述文本行圖像包括：根據所述特征圖的文本行圖像的連接區域和數據，在連接左右相鄰的單列像素時出現兩個或兩個以上的候選區域存在重疊區域時，刪除置信度較低的候選區域，保留置信度最高的一個候選區域，所述候選區域指深度神經網絡判斷為字符的單列像素，以及刪除所述特征圖的文本行圖像的數據中置信度低于預設閾值的區域；根據刪除后的特征圖的文本行圖像的數據，從所述待識別圖像中確定出所述文本行圖像。

根據本公開的實施例，利用循環神經網絡對所述文本行圖像進行識別，得到所述文本行圖像的字符內容包括：提取所述文本行圖像中的字符；將提取的字符輸入到所述循環神經網絡進行分類，輸出候選字符；刪除所述候選字符中的非有效字符，輸出所述文本行圖像的字符內容。

根據本公開的實施例，上述方法還包括：對所述待識別圖像的每個像素點的像素值歸一化。