[發明專利]一種處理表格圖片中框選文字的方法及裝置

在審

• 申請號: 201811317237.7
• 申請日: 2018-11-03
• 公開（公告）號: CN109447015A
• 公開（公告）日: 2019-03-08
• 發明（設計）人: 李鵬輝;竺晨曦;邱錫鵬
• 申請（專利權）人: 上海犀語科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種處理表格圖片中框選文字的方法，包括以下步驟：

步驟1、以去除表格圖片中的干擾識別項；

步驟2、利用聯合訓練模型，在表格圖片中圈選出字條，獲取字條在表格圖片中的字條位置坐標、并識別出與字條相對應的文字內容；

步驟3、利用表格特性對字條、字條位置坐標與文字內容進行表格還原。

2.根據權利要求1所述的一種處理表格圖片中框選文字的方法，其特征在于，在步驟1中，對表格圖片進行預處理，以去除表格圖片中的干擾識別項，對表格圖片進行的預處理包括圖片角度糾偏操作、或水印印章去除操作。

3.根據權利要求1所述的一種處理表格圖片中框選文字的方法，其特征在于，在步驟2中，包括以下子步驟：

步驟21、對去除干擾識別項的表格圖片進行RGB三通道處理，以形成至少兩個表格圖片層；

步驟22、通過卷積變換對每個表格圖片層進行特征提取；

步驟23、在第一表格圖片層中，預測出字條在第一表格圖片層中的字條位置坐標；

步驟24、在第二表格圖片層中，通過圖像信息和應用語言模型得到與字條相對應的文字內容。

4.根據權利要求3所述的一種處理表格圖片中框選文字的方法，其特征在于，在步驟23中，字條位置坐標包括左上坐標(x0，y0)、右上坐標(x1，y1)、右下坐標(x2，y2)、左下坐標(x3，y3)。

5.根據權利要求1所述的一種處理表格圖片中框選文字的方法，其特征在于，在步驟3中，根據字條位置坐標進行表格行與表格列的切分，將文字內容導入字條位置中，根據語義判斷進行單元格的結合，以完成整體表格的還原。

6.根據權利要求1所述的一種處理表格圖片中框選文字的方法，其特征在于，還包括步驟4、呈現還原后的表格。

7.一種實施權利要求1中所述的一種處理表格圖片中框選文字的方法的裝置，其特征在于，包括：預處理模塊、識別模塊與表格還原模塊；

預處理模塊，用于去除表格圖片中的干擾識別項；

識別模塊，利用聯合訓練模型，在表格圖片中圈選出字條，獲取字條在表格圖片中的字條位置坐標、并識別出與字條相對應的文字內容；

表格還原模塊，利用表格特性對字條、字條位置坐標與文字內容進行表格還原。

8.根據權利要求7所述的裝置，其特征在于，所述預處理模塊對表格圖片進行的預處理包括圖片角度糾偏操作、或水印印章去除操作。

9.根據權利要求7所述的裝置，其特征在于，所述識別模塊的實施步驟如下：

對表格圖片進行RGB三通道處理，以形成至少兩個表格圖片層；

通過卷積變換對每個表格圖片層進行特征提取；

在第一表格圖片層中，預測出字條在第一表格圖片層中的字條位置坐標；

在第二表格圖片層中，通過圖像信息和應用語言模型得到與字條相對應的文字內容。

10.根據權利要求7所述的裝置，其特征在于，所述表格還原模塊根據字條位置坐標進行表格行與表格列的切分，將文字內容導入字條位置中，根據語義判斷進行單元格的結合，以完成整體表格的還原。