[發明專利]表格識別方法、裝置以及計算機可讀存儲介質

有效

• 申請號: 202011407580.8
• 申請日: 2020-12-03
• 公開（公告）號: CN112528813B
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 陳靜
• 申請（專利權）人: 上海云從企業發展有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京瀚仁知識產權代理事務所(普通合伙) 11482
• 代理人: 屠曉旭;宋寶庫

1.一種表格識別方法，其特征在于，所述方法包括：

采用預設的圖像識別模型獲取待識別表格圖像的表格線前景圖和文本前景圖；

根據所述表格線前景圖獲取所述待識別表格圖像的表格結構；

對所述待識別表格圖像進行文本行檢測，以獲取所述待識別表格圖像中文本行的第一文本行位置；

根據所述表格結構中單元格的位置，獲取在所述文本前景圖中相應位置處存儲的所述待識別表格圖像中文本行的第二文本行位置；

根據所述單元格的位置、所述第一文本行位置和所述第二文本行位置，獲取與所述單元格關聯的最終的文本行位置；

根據所述最終的文本行位置從所述待識別表格圖像中獲取相關聯單元格對應的文本行圖像，對所述文本行圖像進行文本識別并且將識別出的文本信息存儲至所述單元格內，以形成識別后的表格。

2.根據權利要求1所述的表格識別方法，其特征在于，“獲取待識別表格圖像的表格線前景圖和文本前景圖”的步驟具體包括：

采用所述預設的圖像識別模型對所述待識別表格圖像進行表格線與文本行的位置識別，并且根據位置識別的結果獲取所述表格線前景圖和所述文本前景圖；

其中，所述預設的圖像識別模型是基于表格圖像樣本以及相應的表格線前景標簽圖和文本前景標簽圖進行訓練得到的；

所述表格線前景標簽圖與所述表格圖像樣本的尺寸相同，所述表格線前景標簽圖中每個像素點的位置存儲的標簽值取決于所述表格圖像樣本中相應位置處是否存在表格線；

所述文本前景標簽圖與所述表格圖像樣本的尺寸相同，所述文本前景標簽圖中每個像素點的位置存儲的標簽值取決于所述表格圖像樣本中相應位置處是否存在文本行。

3.根據權利要求2所述的表格識別方法，其特征在于，所述預設的圖像識別模型是通過下列方式訓練得到的：

利用下式所示的損失函數并且根據所述表格圖像樣本以及相應的表格線前景標簽圖和文本前景標簽圖，計算所述圖像識別模型的損失值；

其中，所述n表示表格圖像樣本的數量，；所述h和w分別表示所述表格圖像樣本的高度和寬度，，；所述表示根據第n個表格圖像樣本對應的表格線前景標簽圖與文本前景標簽圖確定出的在所述第n個表格圖像樣本中位置處的標簽值；所述表示所述圖像識別模型輸出的在所述第n個表格圖像樣本中位置處的標簽預測值；

根據所述損失值計算所述圖像識別模型中每個模型參數各自對應的梯度，并且根據所述梯度反向傳播更新所述圖像識別模型的模型參數進行模型優化，以完成訓練。

4.根據權利要求2所述的表格識別方法，其特征在于，所述表格圖像樣本以及相應的表格線前景標簽圖和文本前景標簽圖是通過下列方式獲取到的：

對表格圖像中的每個單元格，隨機設定填充文本；

根據所述單元格的邊線的位置，生成初始的表格線前景標簽圖；根據所述填充文本的位置，生成初始的文本前景標簽圖；

對所述填充文本分別進行水平方向對齊和垂直方向對齊，所述水平方向對齊與所述垂直方向對齊均包括左對齊、居中和右對齊；

對所述單元格的邊線與所述單元格內填充文本之間的區域進行隨機空白填充；

隨機設置所述單元格的邊線寬度以及邊線中虛線的比例，得到規整表格圖像；

將所述規整表格圖像分解成填充文本前景、表格線前景、單元格內背景和表格外背景，分別對所述填充文本前景、表格線前景、單元格內背景和表格外背景進行隨機的像素值填充，以形成初始的表格圖像樣本；

對所述初始的表格圖像樣本進行隨機的透視處理和旋轉處理，得到最終的表格圖像樣本；

根據所述最終的表格圖像樣本采用的透視處理方式和旋轉處理方式，同時對所述初始的文本前景標簽圖和所述初始的表格線前景標簽圖像分別進行相同的透視處理和旋轉處理，得到最終的文本前景標簽圖和最終的表格線前景標簽圖像。