[發明專利]圖像文檔處理方法、裝置及計算機可讀存儲介質

在審

• 申請號: 202010434264.3
• 申請日: 2020-05-20
• 公開（公告）號: CN111695441A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 黃文韜;劉鵬;劉玉宇
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/20;G06K9/46;G06K9/62
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及人工智能中的圖像處理領域，揭露了一種圖像文檔處理方法，包括：根據預設分類字段在模板圖像中的位置生成第一區域圖像，提取SIFT特征點生成第一區域圖像的第一特征描述子和待處理圖像的第二特征描述子并生成匹配點對，根據匹配點對生成變換矩陣，使用變換矩陣根據所述待處理圖像生成第二區域圖像，對第二區域圖像進行處理生成輸出圖像，根據模板圖像識別出輸出圖像中所需輸出字段位置中的文本內容。本發明還提出一種電子裝置以及一種計算機可讀存儲介質。本發明減少了圖像非剛性形變導致全局模板結構化定位的錯誤以及圖像文檔結構化識別錯誤。另外，本發明還涉及區塊鏈技術，本發明還可應用于智慧政務、智慧教育等領域中，從而推動智慧城市的建設。

技術領域

本發明涉及人工智能中的圖像處理領域，尤其涉及一種圖像文檔處理方法、電子裝置及計算機可讀存儲介質。

背景技術

近年來隨著人工智能技術的迅猛發展，特別是深度學習在圖像領域的成功應用，使得OCR技術得到了更加廣泛的應用，特別在各種證件和圖像文檔的自動翻譯、解析等方面的應用十分的廣泛。

現有技術中，常采用兩種方法對圖像文檔進行識別。一種是通過文檔識別的結果得到關鍵字的位置，從而根據位置關系來確定所需分類字段的位置，最后根據各個位置里的識別內容確定最終的輸出結果。這種方法的主要問題是當文檔存在傾斜或者關鍵字識別錯誤時會對輸出結果產生很大的影響，甚至導致輸出錯誤。另一種方式是通過建立一個待識別文檔的標準模板，然后對輸入圖像與該標準模板進行匹配和映射，最后根據標準模板的所需輸出字段的位置對應的確定目標圖像里的位置。然而，當輸入圖像存在非剛性形變時，難以找到這樣的映射關系，導致定位結果出錯，從而使得輸出結果錯誤。

發明內容

鑒于以上內容，有必要提供一種圖像文檔處理方法，旨在非剛性形變導致文檔結構化識別錯誤的問題。

本發明提供的圖像文檔處理方法，應用于電子裝置，包括：

根據預設分類字段在模板圖像中的位置生成第一區域圖像，從所述第一區域圖像中提取SIFT特征點生成所述第一區域圖像的第一特征描述子，讀取待處理圖像并從所述待處理圖像中提取SIFT特征點生成所述待處理圖像的第二特征描述子；

將所述第一特征描述子與所述第二特征描述子進行匹配，生成所述第一區域圖像和所述待處理圖像之間的第一預設數量的匹配點對，每個匹配點對包括所述第一區域圖像中的一個第一特征描述子和所述待處理圖像中相匹配的一個第二特征描述子，使用預設算法過濾掉所述匹配點對中包括相同的第一、第二特征描述子的匹配點對；

根據過濾后的匹配點對生成所述第一區域圖像的變換矩陣，根據所述變換矩陣及所述待處理圖像生成第二區域圖像；

根據所述第一區域圖像的屬性信息對所述第二區域圖像進行處理生成輸出圖像，將所述輸出圖像與所述模板圖像進行匹配和映射，根據所述模板圖像所需輸出字段的位置定位出所述輸出圖像中所需輸出字段的位置，并識別出所述輸出圖像中所需輸出字段位置中的文本內容。

可選的，所述根據預設分類字段在模板圖像中的位置生成第一區域圖像包括：

根據預設的分類字段確定與該預設分類字段對應的待提取字段，將所述模板圖像中包含單個預設分類字段的文本框和包含與該預設分類字段對應的待提取字段的文本框劃分為一個區域，依此方法將所述模板圖像劃分為兩個或兩個以上區域，所述劃分區域后的模板圖像視為第一區域圖像。

可選的，所述第一區域圖像包括兩個或兩個以上區域，所述根據過濾后的匹配點對生成所述第一區域圖像的變換矩陣包括：

在所述第一區域圖像的一個區域中隨機選取第二預設數量過濾后的匹配點對，根據第二預設數量過濾后的匹配點對構建變換矩陣模型；