[發明專利]一種標準化文檔的圖像識別和信息提取方法及裝置

有效

• 申請號: 202010172457.6
• 申請日: 2020-03-12
• 公開（公告）號: CN111353492B
• 公開（公告）日: 2023-10-13
• 發明（設計）人: 段晗敏;張彬;李平新;丁凱;龍騰
• 申請（專利權）人: 上海合合信息科技股份有限公司;上海生騰數據科技有限公司;上海臨冠數據科技有限公司;上海盈五蓄數據科技有限公司
• 主分類號: G06V30/418
• 分類號: G06V30/418;G06V30/146;G06V30/19
• 代理公司: 上海雙霆知識產權代理事務所(普通合伙) 31415
• 代理人: 殷曉雪

本申請公開了一種標準化文檔的圖像識別和信息提取方法。所述標準化文檔是指版式固定的文檔；所述方法包括如下步驟。步驟S10：構建標準化文檔的模版。步驟S20：基于文字和圖像為待識別的標準化文檔匹配到最合適的模版，對待識別的標準化文檔圖像進行透視變換。步驟S30：對待識別的標準化文檔圖像中的文字進行偏移矯正。步驟S40：在待識別的標準化文檔圖像中提取關鍵字段信息。步驟S50：對關鍵字段進行后處理，得到最終輸出結果。上述方法同時采用文字和圖像匹配技術實現模版匹配，采用透視變換、文字偏移矯正技術和后處理技術來提高圖像識別和信息提取的準確率。

技術領域

本申請涉及一種圖像處理和OCR(Optical Character Recognition，光學字符識別)技術，簡稱為圖像識別技術，特別是涉及一種標準化文檔的圖像識別和關鍵信息提取技術。

背景技術

目前，文檔的圖像識別和關鍵信息提取主要采用關鍵字匹配的方法，人工構建規則提取關鍵信息。這種方法對不同類型的文檔都需要重新構建規則，通用性差；當關鍵字識別錯誤時，匹配規則易失效；同時難以在傾斜文檔中提取正確結果。

發明內容

本申請所要解決的技術問題是提出了一種基于模版匹配的標準化文檔的圖像識別和信息提取方法。標準化文檔是指版式固定的文檔，例如身份證、護照、戶口簿、各類表格等，其版式是固定的，只是內容有不同。

為解決上述技術問題，本申請提供了一種標準化文檔的圖像識別和信息提取方法。所述標準化文檔是指版式固定的文檔；所述方法包括如下步驟。步驟S10：構建標準化文檔的模版。步驟S20：基于文字和圖像為待識別的標準化文檔匹配到最合適的模版，對待識別的標準化文檔圖像進行透視變換。步驟S30：對待識別的標準化文檔圖像中的文字進行偏移矯正。步驟S40：在待識別的標準化文檔圖像中提取關鍵字段信息。步驟S50：對關鍵字段進行后處理，得到最終輸出結果。上述方法同時采用文字和圖像匹配技術實現模版匹配，采用透視變換、文字偏移矯正技術和后處理技術來提高圖像識別和信息提取的準確率。

進一步地，所述步驟S10是對每種類型的標準化文檔選取一張清晰的標準化文檔圖像先進行標注，再利用標注信息生成模版文件。這是對步驟S10較為詳細的說明。

進一步地，所述對標準化文檔圖像進行標注進一步包括如下步驟。步驟S11：在標準化文檔圖像中標注出特殊圖像標識的位置及類型。步驟S12：在標準化文檔圖像中標注出參考字段的位置及內容、以及每個參考字段對應的信息條目的位置；所述參考字段的內容為文本；所述信息條目為文本或圖像。所述步驟S11、步驟S12的順序或者同時進行，或者任一在前。步驟S13：對每一個信息條目添加屬性；所述屬性包括該信息條目在標準化文檔圖像中顯示的行數、該信息條目是否屬于時間、日期、金額等特殊類型、該信息條目基于正則表達式的合法模式描述中的任意一項或多項。這是對標準化文檔圖像進行標注的一種具體實現方式。

可選地，所述對標準化文檔圖像進行標注在步驟S12之后還包括步驟S14。步驟S14：將標準化文檔圖像分成一個或多個區域，然后在每個區域內選擇若干個參考字段或特殊圖像標識作為參考錨點。這是一個可選步驟，可用于后續模版匹配的方法三。所述步驟S13、步驟S14的順序或者同時進行，或者任一在前。

進一步地，所述模版文件包含以下信息的一項或多項：(1)模版文件的圖像大小；(2)是否存在位置固定的特殊圖像標識；如存在，每個特殊圖像標識的位置；(3)所有位置固定的參考字段的位置和內容；(4)所有信息條目的位置。這是模版文件的內容的較為詳細的說明。

可選地，所述模版文件還包括作為參考錨點的參考字段或特殊圖像標識及其在標準化文檔圖像中的區域。這是一個可選項目，可用于后續模版匹配的方法三。