[發明專利]一種圖文處理方法、系統以及計算機可讀存儲介質

在審

• 申請號: 202010268468.4
• 申請日: 2020-04-08
• 公開（公告）號: CN111444876A
• 公開（公告）日: 2020-07-24
• 發明（設計）人: 陶民澤
• 申請（專利權）人: 證通股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 俞華梁;姜冰

本發明涉及一種圖文處理方法，包括如下步驟：獲取圖文混排文件的圖像，并對所述圖像進行預處理；通過第一神經網絡將經預處理的圖像進行區域劃分；通過第二神經網絡確定劃分后的圖像中的文本區域；以及通過第三神經網絡對所述文本區域進行文本識別。

技術領域

本發明涉及一種處理圖文混排文件的機制，具體而言，涉及一種圖文處理方法、系統以及計算機可讀存儲介質。

背景技術

在進行數據采集時有時需要對圖文混排的文件進行內容識別，例如，為了收集身份信息需要對身份證圖像進行采集、識別。然而，傳統的識別方法在特征提取、文字區域檢測以及文本識別等諸多方面存在缺陷。

發明內容

因此，為了能夠高效準確地對圖文混排的文件進行內容識別，尤其是文字識別，本發明提供了一種處理圖文混排文件的機制，具體而言：

根據本發明的一方面，提供一種圖文處理方法，包括如下步驟：獲取圖文混排文件的圖像，并對所述圖像進行預處理；通過第一神經網絡將經預處理的圖像進行區域劃分；通過第二神經網絡確定劃分后的圖像中的文本區域；以及通過第三神經網絡對所述文本區域進行文本識別。

在本發明的一些實施例中，可選地，確定劃分后的圖像中的人像區域并進行裁剪。

在本發明的一些實施例中，可選地，所述方法還包括建立所述人像區域與識別到的文本的映射關系。

在本發明的一些實施例中，可選地，所述第一神經網絡是YOLO網絡，將經預處理的圖像輸入到YOLO網絡，利用YOLO網絡對其進行區域劃分。

在本發明的一些實施例中，可選地，所述第二神經網絡是CTPN網絡，將劃分后的圖像輸入到CTPN網絡，利用CTPN網絡確定其中的文本區域。

在本發明的一些實施例中，可選地，所述第三神經網絡是CRNN網絡，將所述文本區域輸入到CRNN網絡，利用CRNN網絡進行文本識別。

在本發明的一些實施例中，可選地，所述圖文混排文件是身份證件。

根據本發明的另一方面，提供一種計算機可讀存儲介質，所述計算機可讀存儲介質中存儲有指令，其特征在于，當所述指令由處理器執行時，使得所述處理器執行如上文所述的任意一種方法。

根據本發明的另一方面，提供一種圖文處理系統，包括：預處理單元，其配置成獲取圖文混排文件的圖像并對所述圖像進行預處理；劃分單元，其配置成通過其中的第一神經網絡將經預處理的圖像進行區域劃分；確定單元，其配置成通過其中的第二神經網絡確定劃分后的圖像中的文本區域；以及識別單元，其配置成通過其中的第三神經網絡對所述文本區域進行文本識別。

在本發明的一些實施例中，可選地，所述確定單元還配置成確定劃分后的圖像中的人像區域并進行裁剪。

在本發明的一些實施例中，可選地，所述系統還包括映射單元，其配置成建立所述人像區域與識別到的文本的映射關系。

在本發明的一些實施例中，可選地，所述第一神經網絡是YOLO網絡，YOLO網絡接收經預處理的圖像并對其進行區域劃分。

在本發明的一些實施例中，可選地，所述第二神經網絡是CTPN網絡，所述CTPN網絡接收劃分后的圖像并確定其中的文本區域。

在本發明的一些實施例中，可選地，所述第三神經網絡是CRNN網絡，所述CRNN網絡接收所述文本區域并進行文本識別。

在本發明的一些實施例中，可選地，所述圖文混排文件是身份證件。

附圖說明

從結合附圖的以下詳細說明中，將會使本發明的上述和其他目的及優點更加完整清楚，其中，相同或相似的要素采用相同的標號表示。