[發明專利]用于識別圖像中字符的方法、裝置及介質

有效

• 申請號: 201810362577.5
• 申請日: 2018-04-20
• 公開（公告）號: CN108596168B
• 公開（公告）日: 2020-11-20
• 發明（設計）人: 楊朔;龔杰;孫俊;李偉
• 申請（專利權）人: 京東數字科技控股有限公司
• 主分類號: G06K9/20
• 分類號: G06K9/20;G06N3/04
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王衛忠;袁禮君

1.一種用于識別圖像中字符的方法，包括：

獲取待識別圖像，所述待識別圖像中包括字符；

將所述待識別圖像輸入到深度神經網絡，利用所述深度神經網絡中的卷積層和池化層從所述待識別圖像中提取出預定像素尺寸的特征圖；

以預設數量的像素點為寬度，以數量可變的像素點為高度從所述特征圖中提取出所有的單列像素；

基于所有的單列像素，生成以行為單位的所述特征圖的文本行圖像；

根據所述特征圖的文本行圖像，從所述待識別圖像中確定出所述文本行圖像，所述文本行圖像中包括字符；

利用循環神經網絡對所述文本行圖像進行識別，得到所述文本行圖像的字符內容。

2.根據權利要求1所述的方法，其中，所述待識別圖像中的字符包括一個或多個，所述一個或多個字符的顏色、大小、字體和分布情況相同或不同。

3.根據權利要求1所述的方法，其中，基于所有的單列像素，生成以行為單位的所述特征圖的文本行圖像包括：

對所有的單列像素進行判斷，判斷所述單列像素是否為字符，根據判斷結果連接左右相鄰的單列像素，以生成所述特征圖的文本行圖像，所述左右相鄰的單列像素為字符的列像素；

輸出所述特征圖的文本行圖像的數據。

4.根據權利要求3所述的方法，其中，根據所述特征圖的文本行圖像，從所述待識別圖像中確定出所述文本行圖像包括：

根據所述特征圖的文本行圖像的連接區域和數據，連接左右相鄰的單列像素形成兩個以上的候選區域，在所述兩個以上的候選區域存在重疊區域時，刪除置信度較低的候選區域，只保留置信度最高的一個候選區域，所述候選區域指深度神經網絡判斷為字符的單列像素，以及刪除所述特征圖的文本行圖像的數據中置信度低于預設閾值的區域；

根據刪除后的特征圖的文本行圖像的數據，從所述待識別圖像中確定出所述文本行圖像。

5.根據權利要求1所述的方法，其中，利用循環神經網絡對所述文本行圖像進行識別，得到所述文本行圖像的字符內容包括：

提取所述文本行圖像中的字符；

將提取的字符輸入到所述循環神經網絡進行分類，輸出候選字符；

刪除所述候選字符中的非有效字符，輸出所述文本行圖像的字符內容。

6.根據權利要求1所述的方法，還包括：

對所述待識別圖像的每個像素點的像素值歸一化。

7.一種用于識別圖像中字符的裝置，包括：

獲取模塊，用于獲取待識別圖像，所述待識別圖像中包括字符；

第一提取模塊，用于將所述待識別圖像輸入到深度神經網絡，利用所述深度神經網絡中的卷積層和池化層從所述待識別圖像中提取出預定像素尺寸的特征圖；

第二提取模塊，用于以預設數量的像素點為寬度，以數量可變的像素點為高度從所述特征圖中提取出所有的單列像素；

生成模塊，用于基于所有的單列像素，生成以行為單位的所述特征圖的文本行圖像；

第一確定模塊，用于根據所述特征圖的文本行圖像，從所述待識別圖像中確定出所述文本行圖像，所述文本行圖像中包括字符；

第二識別模塊，用于利用循環神經網絡對所述文本行圖像進行識別，得到所述文本行圖像的字符內容。

8.根據權利要求7所述的裝置，其中，所述待識別圖像中的字符包括一個或多個，所述一個或多個字符的顏色、大小、字體和分布情況相同或不同。

9.根據權利要求7所述的裝置，其中，生成模塊包括：

判斷模塊，用于對所有的單列像素進行判斷，判斷所述單列像素是否為字符，根據判斷結果連接左右相鄰的單列像素，以生成所述特征圖的文本行圖像，所述左右相鄰的單列像素為字符的列像素；

第一輸出模塊，用于輸出所述特征圖的文本行圖像的數據。