[發明專利]一種基于機器學習的表格提取方法和系統

在審

• 申請號: 202011315774.5
• 申請日: 2020-11-21
• 公開（公告）號: CN112241730A
• 公開（公告）日: 2021-01-19
• 發明（設計）人: 劉洋;侯啟予
• 申請（專利權）人: 杭州投知信息技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/177;G06F40/186;G06K9/34;G06F16/33;G06N20/00
• 代理公司: 北京棘龍知識產權代理有限公司 11740
• 代理人: 戴麗偉

本發明公開了一種基于機器學習的表格提取方法和系統，所述方法包括：獲取表格模板集；根據表格模板集生成第一實例；獲取第一實例中表格的單元格坐標；隨機隱藏表格的邊框線，獲得第二實例；基于單元格坐標為第二實例的表格打標簽；基于實例分割模型對第二實例進行訓練，獲得預測模型；基于預測模型分析預測文檔；提取單元格坐標區域內的單元格內容；根據單元格坐標恢復預測表格的結構；基于單元格內容、單元格坐標和預測表格的結構，結構化預測表格。預測模型可以識別預測文檔中的單元格及其坐標，從而獲得復雜單元格的區域和表格的結構，再提取單元格的內容，使預測表格結構化。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種基于機器學習表格提取的方法和系統。

背景技術

在日常生活或工作中涉及到大量的表格及其文檔，尤其是金融行業中的金融表格，相關人員可以從這些表格中讀取到有用的數據，而對于復雜的表格，需要檢索表格中的某一個特定內容或數據，通常需要將文檔中含有的表格進行結構化，以便于內容檢索。

當表格結構較為復雜時，如含有合并單元格或無表格邊框，此類表格的結構化十分困難：含有大量的復雜合并單元格，甚至有多層次的合并單元格，準確識別表格結構十分困難；無外表格邊框，甚至有的表格內部都沒有邊框線，這樣精確區分每一個單元格所在位置十分困難，準確提取每一個單元格的內容也十分困難。

發明內容

針對現有技術中存在的上述技術問題，本發明提供一種基于機器學習的表格提取方法和系統，便于識別復雜表格的結構及其內容。

本發明公開了一種基于機器學習的表格提取方法，所述方法包括：獲取表格模板集；根據所述表格模板集生成第一實例；獲取第一實例中表格的單元格坐標；隨機隱藏第一實例中表格的邊框線，獲得第二實例；基于所述單元格坐標為第二實例的表格及其單元格打標簽；基于實例分割模型對第二實例進行訓練，獲得預測模型；基于所述預測模型分析預測文檔，所述預測文檔包括預測表格，獲得預測表格的單元格坐標；提取所述單元格坐標區域內的單元格內容；根據所述單元格坐標恢復預測表格的結構；基于所述單元格內容、單元格坐標和預測表格的結構，結構化預測表格。

優選的，所述表格模板集的模板包括以下情形之一或它們的組合：含有多層次的合并單元格、缺少表格外邊框線和缺少內邊框線。

優選的，所述第一實例基于弱監督學習的方法生成。

優選的，獲取第一實例中表格的單元格坐標的方法包括：根據表格模板生成訓練表格；根據訓練表格生成PDF文檔；獲取所述PDF文檔的矢量化信息；基于所述矢量化信息識別表格、表格坐標和單元格坐標。

優選的，獲得第二實例的方法包括：隨機刪除表格的邊框線或使用白色粗線覆蓋表格的邊框線；將所述表格保存為圖片，作為第二實例。

優選的，所述基于實例分割模型對第二實例進行訓練的方法包括：將所述第二實例劃分為預訓練實例和復雜訓練實例；基于實例分割模型對預訓練實例進行訓練，獲得第一模型；基于第一模型訓練復雜訓練實例進行訓練，獲得預測模型。

優選的，提取單元格內容的方法包括：矢量化提取法或光學字符識別法。

優選的，本發明的方法還包括分割所述預測文檔的預測表格的方法：通過連通域分析方法獲取預測文檔中的預測表格及其坐標范圍；將每個識別的單元格按所屬的預測表格進行歸類。

優選的，恢復預測表格結構的方法包括：根據單元格坐標恢復所述預測表格的邊框線；根據所述單元格坐標和預測表格的邊框線獲取單元格的行列；根據所述單元格的行列恢復預測表格的結構。