[發(fā)明專利]基于語義分割的表格檢測方法、裝置、設備和介質

在審

• 申請?zhí)枺?/td>: 202110673115.7
• 申請日: 2021-06-17
• 公開（公告）號: CN113449620A
• 公開（公告）日: 2021-09-28
• 發(fā)明（設計）人: 蔣雪辰;羅琳耀;賈佳亞;沈小勇;呂江波
• 申請（專利權）人: 深圳思謀信息科技有限公司;上海思謀科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/62
• 代理公司: 廣州華進聯(lián)合專利商標代理有限公司 44224
• 代理人: 周清華

本申請涉及一種基于語義分割的表格檢測方法、裝置、計算機設備和存儲介質。本申請能夠針對多種類別的表格線進行預測，能夠適應復雜版面的表格圖像，提高了不同版面表格圖像檢測的魯棒性。該方法包括：獲取表格圖像，將該表格圖像輸入編碼模塊，從上述編碼模塊的輸出獲得第一特征圖，從上述編碼模塊中骨干網絡的輸出獲得第二特征圖；將第二特征圖作為解碼模塊的輸入以由解碼模塊傳遞至解碼模塊中的拼接層，以及將第一特征圖作為拼接層的輸入，以供拼接層融合第一特征圖和第二特征圖得到融合特征圖，基于融合特征圖針對表格線進行分類預測后輸出，得到預測結果。

技術領域

本申請涉及圖像檢測技術領域，特別是涉及一種基于語義分割的表格檢測方法、裝置、計算機設備和存儲介質。

背景技術

隨著文字識別技術的發(fā)展，人們能夠快速識別并提取通過掃描、拍照等方式生成的圖像中的文字或數(shù)字，這其中，表格成為了文字識別技術領域的重點，由于表格中包含不同的結構組分，例如行列、層次、表達大小、樣式復雜多樣，表格中還包含不同的背景填充、行列合并，其中的文字還可以同時包括現(xiàn)代的、歷史的、手寫的、印刷的等不同類型，使得表格識別一致是文字識別領域的難點。

目前，主流的表格檢測算法有兩類：基于目標檢測的算法和基于分割的算法，但這兩種方法都只能針對某一類或某幾類表格識別，由于文檔類型、數(shù)據類型、文檔作者偏好等要素的多樣性以及本質上完全自由的排班規(guī)則，使得表格樣式也趨向于多樣性和復雜性，進而導致現(xiàn)有的方法在應對復雜的版面樣式時不具有強大的魯棒性和泛化能力。

發(fā)明內容

基于此，有必要針對上述技術問題，提供一種基于語義分割的表格檢測方法、裝置、計算機設備和存儲介質。

一種基于語義分割的表格檢測方法，所述方法包括：

獲取表格圖像；

將所述表格圖像輸入編碼模塊，從所述編碼模塊的輸出獲得第一特征圖，從所述編碼模塊中骨干網絡的輸出獲得第二特征圖；

將所述第二特征圖作為解碼模塊的輸入以由所述解碼模塊傳遞至所述解碼模塊中的拼接層，以及將所述第一特征圖作為所述拼接層的輸入，以供所述拼接層融合所述第一特征圖和所述第二特征圖得到融合特征圖，基于所述融合特征圖針對表格線進行分類預測后輸出，得到預測結果。

在其中一個實施例中，所述編碼模塊還包括空洞空間卷積池化金字塔層，所述將所述表格圖像輸入編碼模塊，從所述編碼模塊的輸出獲得第一特征圖的步驟，包括：

通過所述骨干網絡從所述表格圖像中提取圖像特征，并經所述空洞空間卷積池化金字塔層增加感受野后得到所述第一特征圖。

在其中一個實施例中，所述表格線的類別包括可見橫線類、可見豎線類、不可見橫線類和不可見豎線類，所述基于融合后的融合特征圖針對表格線進行分類預測后輸出，得到預測結果，包括：

計算所述融合特征圖中的各個特征值對應的類別概率；所述類別概率包括所述可見橫線類對應的第一概率、所述可見豎線類對應的第二概率、所述不可見橫線類對應的第三概率和所述不可見豎線類對應的第四概率；

將所述第一概率、所述第二概率、所述第三概率和所述第四概率中的最大值對應的類別作為所述特征值所歸屬的類別；

輸出與所述特征值所歸屬的類別對應的擬合圖形作為所述預測結果。

在其中一個實施例中，所述方法還包括：

獲取表格圖像樣本；所述表格圖像樣本中包括表格線的類別標記；

使用所述表格圖像樣本訓練所述編碼模塊和所述解碼模塊，得到訓練好的編碼模塊和解碼模塊。

在其中一個實施例中，所述使用所述表格圖像樣本訓練所述編碼模塊和所述解碼模塊，得到訓練好的編碼模塊和解碼模塊，包括：