[發(fā)明專利]一種標準化文檔的圖像識別和信息提取方法及裝置

有效

• 申請?zhí)枺?/td>: 202010172457.6
• 申請日: 2020-03-12
• 公開（公告）號: CN111353492B
• 公開（公告）日: 2023-10-13
• 發(fā)明（設計）人: 段晗敏;張彬;李平新;丁凱;龍騰
• 申請（專利權）人: 上海合合信息科技股份有限公司;上海生騰數(shù)據(jù)科技有限公司;上海臨冠數(shù)據(jù)科技有限公司;上海盈五蓄數(shù)據(jù)科技有限公司
• 主分類號: G06V30/418
• 分類號: G06V30/418;G06V30/146;G06V30/19
• 代理公司: 上海雙霆知識產權代理事務所(普通合伙) 31415
• 代理人: 殷曉雪

1.一種標準化文檔的圖像識別和信息提取方法，所述標準化文檔是指版式固定的文檔；所述方法包括如下步驟：

步驟S10：構建標準化文檔的模版；

步驟S20：基于文字和圖像為待識別的標準化文檔匹配到最合適的模版，對待識別的標準化文檔圖像進行透視變換；

步驟S30：對待識別的標準化文檔圖像中的文字進行偏移矯正；

步驟S40：在待識別的標準化文檔圖像中提取關鍵字段信息；

步驟S50：對關鍵字段進行后處理，得到最終輸出結果。

2.根據(jù)權利要求1所述的標準化文檔的圖像識別和信息提取方法，其特征是，所述步驟S10是對每種類型的標準化文檔選取一張清晰的標準化文檔圖像先進行標注，再利用標注信息生成模版文件。

3.根據(jù)權利要求2所述的標準化文檔的圖像識別和信息提取方法，其特征是，所述對標準化文檔圖像進行標注進一步包括如下步驟：

步驟S11：在標準化文檔圖像中標注出特殊圖像標識的位置及類型；

步驟S12：在標準化文檔圖像中標注出參考字段的位置及內容、以及每個參考字段對應的信息條目的位置；所述參考字段的內容為文本；所述信息條目為文本或圖像；

所述步驟S11、步驟S12的順序或者同時進行，或者任一在前；

步驟S13：對每一個信息條目添加屬性；所述屬性包括該信息條目在標準化文檔圖像中顯示的行數(shù)、該信息條目是否屬于時間、日期、金額等特殊類型、該信息條目基于正則表達式的合法模式描述中的任意一項或多項。

4.根據(jù)權利要求3所述的標準化文檔的圖像識別和信息提取方法，其特征是，所述對標準化文檔圖像進行標注在步驟S12之后還包括步驟S14；

步驟S14：將標準化文檔圖像分成一個或多個區(qū)域，然后在每個區(qū)域內選擇若干個參考字段或特殊圖像標識作為參考錨點。

5.根據(jù)權利要求2所述的標準化文檔的圖像識別和信息提取方法，其特征是，所述模版文件包含以下信息的一項或多項：(1)模版文件的圖像大小；(2)是否存在位置固定的特殊圖像標識；如存在，每個特殊圖像標識的位置；(3)所有位置固定的參考字段的位置和內容；(4)所有信息條目的位置。

6.根據(jù)權利要求5所述的標準化文檔的圖像識別和信息提取方法，其特征是，所述模版文件還包括作為參考錨點的參考字段或特殊圖像標識及其在標準化文檔圖像中的區(qū)域。

7.根據(jù)權利要求1所述的標準化文檔的圖像識別和信息提取方法，其特征是，所述步驟S20進一步包括如下步驟；

步驟S21：通過OCR技術獲取待識別的標準化文檔圖像中所有字符的內容和位置信息；通過物體檢測技術獲取待識別的標準化文檔圖像中所有的特殊圖像標識的位置和類型；

步驟S22：將待識別的標準化文檔圖像和模版庫中的每一個模版進行關鍵點對齊，這是指將待識別的標準化文檔圖像中的字符和特殊圖像標識分別與每一個模版中的參考字段和特殊圖像標識進行匹配，獲取匹配度超過一定閾值的內容；然后將每一對匹配度超過一定閾值的內容的相同位置的坐標提取出來構成特征匹配對；

如果特征匹配對數(shù)目大于或等于第一閾值，則將當前模版作為候選模版；

如果特征匹配對數(shù)目小于第一閾值，則認為當前模版不屬于候選模版；

隨后進行待識別的標準化文檔圖像與下一個模版的關鍵點對齊、構建特征匹配對、判斷是否作為候選模版，直至待識別的標準化文檔圖像和模版庫中的全部模版進行關鍵點對齊得到一個或多個候選模版；

步驟S23：利用所述特征匹配對將待識別的標準化文檔圖像和每一個候選模版圖像進行對齊，并計算每兩個圖像對齊的透視變換矩陣；

步驟S24：根據(jù)透視變換矩陣，將每一個候選模版圖像的坐標轉換到待識別的標準化文檔圖像的坐標體系中，匹配到待識別的標準化文檔圖像最合適的模版；

步驟S25：通過透視變換矩陣，將待識別的標準化文檔圖像的OCR結果全部轉換到匹配到的模版圖像的坐標體系中。