[發明專利]端到端的表格還原方法

在審

• 申請號: 202211236405.6
• 申請日: 2022-10-10
• 公開（公告）號: CN115563936A
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 李劍楠;周小雪;馬駿;李恒;蘇鵬
• 申請（專利權）人: 上海愛可生信息技術股份有限公司;上海千鳥信息科技有限公司
• 主分類號: G06F40/151
• 分類號: G06F40/151;G06F40/174;G06V30/146;G06V30/413
• 代理公司: 上海思捷知識產權代理有限公司 31295
• 代理人: 張子飛

本發明提供了一種端到端的表格還原方法，包括：輸入待處理表格圖片所在的文本圖片，從文本圖片中識別出表格圖片；對表格圖片進行傾斜校正；對傾斜校正后的表格圖片轉換為灰度圖，從灰度圖中檢測出橫線和豎線的像素點集合；判斷像素點集合中是否具有表格圖片的邊線，如果像素點集合中沒有表格圖片的邊線的像素點，則將邊線的像素點補齊到像素點集合中；從像素點集合或補齊后的像素點集合中獲取橫線和豎線的交點；從交點中找出單元格；從表格圖片中識別文字并填入單元格中。本發明可以不需要預設表格模板進行還原，不需要大量訓練數據，同時，還可以還原缺線表格或者橫豎線較偏的圖像。

技術領域

本發明涉及信息處理技術領域，尤其是涉及一種端到端的表格還原方法。

背景技術

在生產和生活過程中，時常需要進行圖片表格進行計算機錄入，因此，需要將表格圖片還原成Excel格式的數據。

現有技術的表格識別方法大多是基于深度學習目標檢測的思路進行。現有技術的表格還原方法大致分為兩種，一種是基于深度學習的方案，一種是基于啟發式規則的方案。表格還原部分，深度學習方法主要分為兩種，第一種是轉化為圖像分割的任務，將每個單元格作為一個區域進行識別。再根據坐標進行還原。第二種是進行橫線以及豎線的識別，通過線的位置還原表格。基于啟發式的規則的方案也是通過文本塊區域或者匹配到的橫線、豎線進行坐標還原。

然而，無論是哪種方法，都是要通過單元格坐標信息進行還原。因此，對于采用深度學習方法的表格還原需要大量訓練數據。對于啟發式規則的表格還原方法，缺線表格或者橫豎線較偏的圖像難以還原成表格。

發明內容

本發明的目的在于提供一種端到端的表格還原方法，可以不需要通過單元格坐標信息進行還原，不需要大量訓練數據，同時，還可以還原缺線表格或者橫豎線較偏的圖像。

為了達到上述目的，本發明提供了一種端到端的表格還原方法，包括：

輸入待處理表格圖片所在的文本圖片，從所述文本圖片中識別出表格圖片；

對所述表格圖片進行傾斜校正；

對傾斜校正后的所述表格圖片轉換為灰度圖，從所述灰度圖中檢測出橫線和豎線的像素點集合；

判斷所述像素點集合中是否具有表格圖片的邊線，如果所述像素點集合中沒有表格圖片的邊線的像素點，則將邊線的像素點補齊到像素點集合中；

從所述像素點集合或補齊后的像素點集合中獲取橫線和豎線的交點；

從所述交點中找出單元格；以及

從所述表格圖片中識別文字并填入所述單元格中。

可選的，在所述的端到端的表格還原方法中，輸入待處理表格圖片所在的文本圖片，從所述文本圖片中識別出表格圖片的方法包括：

使用標注工具對文本圖片的內容進行標注；以及

使用網絡模型對標注后的文本圖片進行訓練，從而從文本圖片中提取出表格圖片。

可選的，在所述的端到端的表格還原方法中，對所述表格圖片進行傾斜校正的方法包括：

使用霍夫變換的方法，檢測所述表格圖片中的所有直線的傾斜角；

根據所有傾斜角求得傾斜角平均值；以及

根據所述傾斜角平均值對所述表格圖片進行校正。

可選的，在所述的端到端的表格還原方法中，對傾斜校正后的所述表格圖片轉換為灰度圖，從所述灰度圖中檢測出橫線和豎線的像素點集合的方法包括：

根據灰度圖的高度和寬度確定檢測矩陣自定義核的比例；

通過檢測矩陣的方法獲得橫線的像素點和豎線的像素點；以及