[發明專利]一種表格數據處理方法、裝置、設備及存儲介質

在審

• 申請號: 202111168456.5
• 申請日: 2021-09-30
• 公開（公告）號: CN113887441A
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 孫鐵;朱運明;王琳婧;蘇沁寧;田鷗
• 申請（專利權）人: 平安銀行股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強

1.一種表格數據處理方法，其特征在于，包括：

獲取樣本訓練集，所述樣本訓練集中包括一個或多個樣本表格訓練圖片，所述一個或多個樣本表格訓練圖片中包括非標準表格的圖片，所述非標準表格是指表格線條不完整的表格；

對所述樣本訓練集中各個樣本表格訓練圖片添加線條標簽，所述線條標簽用于指示與所述各個樣本表格訓練圖片對應的樣本表格的線條信息；

將所述樣本訓練集中添加線條標簽的各個樣本表格訓練圖片輸入預設的深度神經網絡模型進行訓練，得到表格數據處理模型；

將待處理的目標表格圖片輸入所述表格數據處理模型，得到所述目標表格圖片對應的線條信息；

通過預設的深度神經網絡模型對確定線條信息的所述目標表格圖片對應的目標表格中的文本進行檢測和識別，得到所述目標表格中的文本內容。

2.根據權利要求1所述的方法，其特征在于，所述對所述樣本訓練集中各個樣本表格訓練圖片添加線條標簽，包括：

確定所述樣本訓練集中各個樣本表格訓練圖片中樣本表格的線條信息，所述線條信息包括一種或多種類別的線條以及每種線條的位置坐標，所述線條的類別包括與水平面平行的第一隱藏線條、與水平面垂直的第二隱藏線條、與水平面平行的第一顯示線條以及與水平面垂直的第二顯示線條；

根據所述各個樣本表格訓練圖片中樣本表格的線條的類別以及每種線條的位置信息對所述各個樣本表格訓練圖片添加對應的線條標簽。

3.根據權利要求2所述的方法，其特征在于，所述將所述樣本訓練集中添加線條標簽的各個樣本表格訓練圖片輸入預設的深度神經網絡模型進行訓練，得到表格數據處理模型，包括：

從所述添加線條標簽的各個樣本表格訓練圖片中提取表格特征向量，并將所述表格特征向量輸入所述預設的深度神經網絡模型，得到損失函數值；

當所述損失函數值不滿足預設條件時，根據所述損失函數值調整所述預設的深度神經網絡模型的模型參數，將所述添加線條標簽的各個樣本表格訓練圖片輸入調整模型參數后的深度神經網絡模型進行重新訓練；

當重新訓練得到的損失函數值滿足預設條件時，確定得到所述表格數據處理模型。

4.根據權利要求3所述的方法，其特征在于，所述將所述表格特征向量輸入所述預設的深度神經網絡模型，得到損失函數值，包括：

將所述表格特征向量輸入所述預設的深度神經網絡模型，通過所述預設的深度神經網絡模型中的ResNet骨干網絡模塊和tensorflow的slim模塊得到所述各個樣本表格訓練圖片對應的樣本表格中每一種類別的線條的損失函數值；

根據所述各個樣本表格訓練圖片的每一種類別的線條的損失函數值，確定各個類別的線條的損失函數值的平均值為所述各個樣本表格訓練圖片的損失函數值。

5.根據權利要求1所述的方法，其特征在于，所述通過預設的深度神經網絡模型對確定線條信息的所述目標表格圖片對應的目標表格中的文本進行檢測和識別，得到所述目標表格中的文本內容之前，還包括：

根據所述目標表格圖片的線條信息確定所述目標表格圖片對應的目標表格中線條的類別和位置信息；

根據所述目標表格圖片對應的目標表格中線條的類別和位置信息確定所述目標表格中的每個單元格。

6.根據權利要求5所述的方法，其特征在于，所述預設的深度神經網絡模型包括文字檢測模型和文字識別模型；所述通過預設的深度神經網絡模型對確定線條信息的所述目標表格圖片對應的目標表格中的文本進行檢測和識別，得到所述目標表格中的文本內容，包括：

將所述目標表格圖片對應的線條信息輸入所述文字檢測模型中，得到所述目標表格圖片對應的目標表格中每個單元格內的文本的位置信息；

將所述目標表格圖片對應的線條信息和所述目標表格中每個單元格內的文本的位置信息輸入所述文字識別模型中，得到所述目標表格中每個單元格內的文本內容。