[發(fā)明專利]一種基于機器學習的表格提取方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011315774.5
• 申請日: 2020-11-21
• 公開（公告）號: CN112241730A
• 公開（公告）日: 2021-01-19
• 發(fā)明（設(shè)計）人: 劉洋;侯啟予
• 申請（專利權(quán)）人: 杭州投知信息技術(shù)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F40/177;G06F40/186;G06K9/34;G06F16/33;G06N20/00
• 代理公司: 北京棘龍知識產(chǎn)權(quán)代理有限公司 11740
• 代理人: 戴麗偉

1.一種基于機器學習的表格提取方法，其特征在于，所述方法包括：

獲取表格模板集；

根據(jù)所述表格模板集生成第一實例；

獲取第一實例中表格的單元格坐標；

隨機隱藏第一實例中表格的邊框線，獲得第二實例；

基于所述單元格坐標為第二實例的表格及其單元格打標簽；

基于實例分割模型對第二實例進行訓(xùn)練，獲得預(yù)測模型；

基于所述預(yù)測模型分析預(yù)測文檔，所述預(yù)測文檔包括預(yù)測表格，獲得預(yù)測表格的單元格坐標；

提取所述單元格坐標區(qū)域內(nèi)的單元格內(nèi)容；

根據(jù)所述單元格坐標恢復(fù)預(yù)測表格的結(jié)構(gòu)；

基于所述單元格內(nèi)容、單元格坐標和預(yù)測表格的結(jié)構(gòu)，結(jié)構(gòu)化預(yù)測表格。

2.根據(jù)權(quán)利要求1所述的表格提取方法，其特征在于，所述表格模板集的模板包括以下情形之一或它們的組合：含有多層次的合并單元格、缺少表格外邊框線和缺少內(nèi)邊框線。

3.根據(jù)權(quán)利要求1所述的表格提取方法，其特征在于，所述第一實例基于弱監(jiān)督學習的方法生成。

4.根據(jù)權(quán)利要求1所述的表格提取方法，其特征在于，獲取第一實例中表格的單元格坐標的方法包括：

根據(jù)表格模板生成訓(xùn)練表格；

根據(jù)訓(xùn)練表格生成PDF文檔；

獲取所述PDF文檔的矢量化信息；

基于所述矢量化信息識別表格、表格坐標和單元格坐標。

5.根據(jù)權(quán)利要求4所述的表格提取方法，其特征在于，獲得第二實例的方法包括：

隨機刪除表格的邊框線或使用白色粗線覆蓋表格的邊框線；

將所述表格保存為圖片，作為第二實例。

6.根據(jù)權(quán)利要求1所述的表格提取方法，其特征在于，所述基于實例分割模型對第二實例進行訓(xùn)練的方法包括：

將所述第二實例劃分為預(yù)訓(xùn)練實例和復(fù)雜訓(xùn)練實例；

基于實例分割模型對預(yù)訓(xùn)練實例進行訓(xùn)練，獲得第一模型；

基于第一模型訓(xùn)練復(fù)雜訓(xùn)練實例進行訓(xùn)練，獲得預(yù)測模型。

7.根據(jù)權(quán)利要求1所述的表格提取方法，其特征在于，提取單元格內(nèi)容的方法包括：矢量化提取法或光學字符識別法。

8.根據(jù)權(quán)利要求1所述的表格提取方法，其特征在于，還包括分割所述預(yù)測文檔的預(yù)測表格的方法：

通過連通域分析方法獲取預(yù)測文檔中的預(yù)測表格及其坐標范圍；

將每個識別的單元格按所屬的預(yù)測表格進行歸類。

9.根據(jù)權(quán)利要求1或8所述的表格提取方法，其特征在于，恢復(fù)預(yù)測表格結(jié)構(gòu)的方法包括：

根據(jù)單元格坐標恢復(fù)所述預(yù)測表格的邊框線；

根據(jù)所述單元格坐標和預(yù)測表格的邊框線獲取單元格的行列；

根據(jù)所述單元格的行列恢復(fù)預(yù)測表格的結(jié)構(gòu)。

10.一種用于實現(xiàn)權(quán)利要求1-9任一項所述方法的表格提取系統(tǒng)，其特征在于，包括第一獲取模塊、第一實例模塊、單元格坐標獲取模塊、第二實例模塊、標簽?zāi)K、訓(xùn)練模塊、預(yù)測模塊、內(nèi)容提取模塊、表格結(jié)構(gòu)恢復(fù)模塊和表格結(jié)構(gòu)化模塊，

所述第一獲取模塊用于獲取表格模板集；

所述第一實例模塊用于根據(jù)所述表格模板集生成第一實例；

所述單元格坐標獲取模塊用于獲取第一實例中表格的單元格坐標；

所述第二實例模塊用于隨機隱藏第一實例中表格的邊框線，獲得第二實例；

所述標簽?zāi)K用于基于所述單元格坐標為第二實例的表格及其單元格打標簽；

所述訓(xùn)練模塊用于基于實例分割模型對第二實例進行訓(xùn)練，獲得預(yù)測模型；

所述預(yù)測模塊用于基于所述預(yù)測模型分析預(yù)測文檔，所述預(yù)測文檔包括預(yù)測表格，獲得預(yù)測表格的單元格坐標；

所述內(nèi)容提取模塊用于提取單元格坐標區(qū)域內(nèi)的單元格內(nèi)容；

所述表格結(jié)構(gòu)恢復(fù)模塊用于根據(jù)單元格坐標恢復(fù)預(yù)測表格的結(jié)構(gòu)；

所述表格結(jié)構(gòu)化模塊用于基于單元格內(nèi)容、單元格坐標和預(yù)測表格的結(jié)構(gòu)，結(jié)構(gòu)化預(yù)測表格。