[發明專利]基于語義分割的表格檢測方法、裝置、設備和介質

在審

• 申請號: 202110673115.7
• 申請日: 2021-06-17
• 公開（公告）號: CN113449620A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 蔣雪辰;羅琳耀;賈佳亞;沈小勇;呂江波
• 申請（專利權）人: 深圳思謀信息科技有限公司;上海思謀科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 周清華

1.一種基于語義分割的表格檢測方法，其特征在于，所述方法包括：

獲取表格圖像；

將所述表格圖像輸入編碼模塊，從所述編碼模塊的輸出獲得第一特征圖，從所述編碼模塊中骨干網絡的輸出獲得第二特征圖；

將所述第二特征圖作為解碼模塊的輸入以由所述解碼模塊傳遞至所述解碼模塊中的拼接層，以及將所述第一特征圖作為所述拼接層的輸入，以供所述拼接層融合所述第一特征圖和所述第二特征圖得到融合特征圖，基于所述融合特征圖針對表格線進行分類預測后輸出，得到預測結果。

2.根據權利要求1所述的方法，其特征在于，所述編碼模塊還包括空洞空間卷積池化金字塔層，所述將所述表格圖像輸入編碼模塊，從所述編碼模塊的輸出獲得第一特征圖的步驟，包括：

通過所述骨干網絡從所述表格圖像中提取圖像特征，并經所述空洞空間卷積池化金字塔層增加感受野后得到所述第一特征圖。

3.根據權利要求1所述的方法，其特征在于，所述表格線的類別包括可見橫線類、可見豎線類、不可見橫線類和不可見豎線類，所述基于融合后的融合特征圖針對表格線進行分類預測后輸出，得到預測結果，包括：

計算所述融合特征圖中的各個特征值對應的類別概率；所述類別概率包括所述可見橫線類對應的第一概率、所述可見豎線類對應的第二概率、所述不可見橫線類對應的第三概率和所述不可見豎線類對應的第四概率；

將所述第一概率、所述第二概率、所述第三概率和所述第四概率中的最大值對應的類別作為所述特征值所歸屬的類別；

輸出與所述特征值所歸屬的類別對應的擬合圖形作為所述預測結果。

4.根據權利要求1所述的方法，其特征在于，所述方法還包括：

獲取表格圖像樣本；所述表格圖像樣本中包括表格線的類別標記；

使用所述表格圖像樣本訓練所述編碼模塊和所述解碼模塊，得到訓練好的編碼模塊和解碼模塊。

5.根據權利要求4所述的方法，其特征在于，所述使用所述表格圖像樣本訓練所述編碼模塊和所述解碼模塊，得到訓練好的編碼模塊和解碼模塊，包括：

使用所述表格圖像樣本訓練所述編碼模塊和所述解碼模塊，調整所述編碼模塊與所述解碼模塊中的網絡參數，使得損失函數的損失值達到預設條件，得到所述訓練好的編碼模塊和解碼模塊；其中，所述損失函數包括dice損失函數和focal損失函數。

6.根據權利要求1所述的方法，其特征在于，所述基于融合后的融合特征圖針對表格線進行分類預測后輸出，得到預測結果之后，所述方法還包括：

基于預設規則的方法，將所述預測結果中的表格線補齊，得到補齊后的表格圖像；

基于所述補齊后的表格圖像中的交點，獲取連通域；

使用基于輪廓的方法提取所述連通域中的文本內容；

通過正則表達式判斷同一方向上的文本內容的類型是否相同；所述同一方向為橫向或者縱向；

若相同，則將所述文本內容中的每一條文本作為單獨的一行或一列。

7.根據權利要求6所述的方法，其特征在于，所述獲取連通域之后，所述方法還包括：

檢測所述連通域的形狀；

若所述連通域的形狀為非矩形形狀，則將所述連通域分割為多個矩形。

8.一種基于語義分割的表格檢測裝置，其特征在于，所述裝置包括：

圖像獲取模塊，用于獲取表格圖像；

編碼模塊，用于將所述表格圖像輸入編碼模塊，從所述編碼模塊的輸出獲得第一特征圖，從所述編碼模塊中骨干網絡的輸出獲得第二特征圖；

解碼模塊，用于將所述第二特征圖作為解碼模塊的輸入以由所述解碼模塊傳遞至所述解碼模塊中的拼接層，以及將所述第一特征圖作為所述拼接層的輸入，以供所述拼接層融合所述第一特征圖和所述第二特征圖得到融合特征圖，及時雨所述融合特征圖針對表格線進行分類預測后輸出，得到預測結果。

9.一種計算機設備，包括存儲器和處理器，所述存儲器存儲有計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7中任一項所述的方法的步驟。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7中任一項所述的方法的步驟。