[發(fā)明專利]圖片中非結構化表格識別方法及裝置

有效

• 申請?zhí)枺?/td>: 202010149377.9
• 申請日: 2020-03-05
• 公開（公告）號: CN111368744B
• 公開（公告）日: 2023-06-27
• 發(fā)明（設計）人: 許明;鐘華;李兆佳
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06V30/413
• 分類號: G06V30/413;G06V30/414;G06V30/16;G06V10/82
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 王濤;孫乳筍

1.一種圖片中非結構化表格識別方法，其特征在于，包括：

對目標圖片中的非結構化表格區(qū)域進行定位，得到該非結構化表格區(qū)域的位置信息；

基于所述位置信息對所述非結構化表格區(qū)域內的各個文本塊進行提取，并根據(jù)提取得到的各個文本塊補齊所述非結構化表格區(qū)域的表格線；

應用預設的文字識別模型對補齊表格線后的非結構化表格區(qū)域進行文字識別，得到該非結構化表格區(qū)域對應的非結構化表格；

所述根據(jù)提取得到的各個文本塊補齊所述非結構化表格區(qū)域的表格線包括：

根據(jù)所述位置信息直接繪制出最上方線條和左邊豎線；

在確定連通域后，根據(jù)每行的文本塊矩形框高度最高的矩形框作為水平線繪制對象，向矩形框下方繪制線段，線段的起點和終點均由最左端和最右端連通塊位置確定；

按列考慮每列的矩形框位置，獲取該列寬度最寬的文本塊矩形框的位置，然后以該矩形框的右下角坐標向右繪制豎線。

2.根據(jù)權利要求1所述的圖片中非結構化表格識別方法，其特征在于，所述基于所述位置信息對所述非結構化表格區(qū)域內的各個文本塊進行提取，包括：

應用預設的圖像預處理方式，基于所述位置信息對所述非結構化表格區(qū)域進行相鄰的文本塊提取，其中，所述圖像預處理方式包括：連通域提取方式。

3.根據(jù)權利要求2所述的圖片中非結構化表格識別方法，其特征在于，所述圖像預處理方式還包括：圖像灰度化處理方式、邊緣檢測處理方式和形態(tài)學處理方式。

4.根據(jù)權利要求1所述的圖片中非結構化表格識別方法，其特征在于，所述應用預設的文字識別模型對補齊表格線后的非結構化表格區(qū)域進行文字識別，包括：

獲取補齊表格線后的非結構化表格區(qū)域對應的各個文字切片；

將各個所述文字切片分別輸入預設的文字識別模型，并將該文字識別模型的輸出分別作為各個所述文字切片的文字識別結果；

根據(jù)各個所述文字切片的文字識別結果生成對應的非結構化表格。

5.根據(jù)權利要求4所述的圖片中非結構化表格識別方法，其特征在于，所述獲取補齊表格線后的非結構化表格區(qū)域對應的各個文字切片，包括：

應用預設的切片方式對補齊表格線后的非結構化表格區(qū)域進行單元格切片處理，得到各個單元格各自對應的文字切片，以及各個所述文字切片各自對應的位置信息。

6.根據(jù)權利要求4所述的圖片中非結構化表格識別方法，其特征在于，所述根據(jù)各個所述文字切片的文字識別結果生成對應的非結構化表格，包括：

根據(jù)各個所述文字切片的文字識別結果以及各個所述文字切片各自對應的位置信息，對各個所述文字切片的文字識別結果進行格式整理；

基于各個所述文字切片的文字識別結果的格式整理結果生成對應的非結構化表格。

7.根據(jù)權利要求4所述的圖片中非結構化表格識別方法，其特征在于，所述文字識別模型為R-CNN網絡。

8.根據(jù)權利要求5所述的圖片中非結構化表格識別方法，其特征在于，所述切片方式包括：形態(tài)學處理方式和Hough變換方式。

9.根據(jù)權利要求1所述的圖片中非結構化表格識別方法，其特征在于，在所述對目標圖片中的非結構化表格區(qū)域進行定位之前，還包括：

接收至少一張圖片，自接收的圖片中分別提取單一張圖片作為當前的目標圖片。