[發明專利]基于深度學習的表格線檢測方法、裝置、終端、存儲介質

在審

• 申請號: 201911038212.8
• 申請日: 2019-10-29
• 公開（公告）號: CN110807404A
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 周康明;胡威
• 申請（專利權）人: 上海眼控科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海光華專利事務所(普通合伙) 31219
• 代理人: 倪靜

本申請提供基于深度學習的表格線檢測方法、裝置、終端、存儲介質，本發明將分割網絡引入文本表格中線檢測，對文本表格內的線條實現了端到端快速檢測，在一定程度上解決噪聲線條干擾等問題，適合大多數復雜或多樣背景下的線條的端到端檢測，提高檢測的魯棒性和泛化性；同時，由于引入豎直線和交點的類別，使得可以根據分割結果將整表中的小表格框起來，形成碎片化的圖片，而且通過連通域的檢測，進一步提升了分割網絡中線條的檢測結果的連續性。降低了整表的文字識別難度，提升了識別的準確率，在整表和復雜表格檢測識別、通用ocr識別等方面有很好的實用性。

技術領域

本申請涉及圖像處理技術領域，特別是涉及基于深度學習的表格線檢測方法、裝置、終端、存儲介質。

背景技術

目前，許多自然場景下的線檢測所使用到的方法種類眾多，但一般分為基于特征描述的檢測方法、基于模型的檢測方法和基于深度學習的檢測方法。

基于特征描述的方法主要是利用線的顏色灰度、紋理變化、幾何特征等，運用諸如霍夫變換和卡爾曼濾波等檢測線條；基于模型的檢測方法主要是利用一些參數等屬性建模出合適的數學模型，利用模型對于場景中的線條進行判別；基于深度學習的檢測方法主要是利用訓練學習線條特征的方式實現自動化快速檢測。

一般而言，基于對大數據學習下深度學習技術能夠對樣本識別具有很好的魯棒性，但目前仍存在下述不足：首先，有關深度學習的線檢測應用主要集中在交通領域中車道線檢測，對于用于文本表格類中的線檢測方法較少；其次，基于opencv等傳統圖像處理方式對于線檢測的方式單一，容易出現漏檢、不連續等現象，無法實現語義理解。

申請內容

鑒于以上所述現有技術的缺點，本申請的目的在于提供基于深度學習的表格線檢測方法、裝置、終端、存儲介質，用于解決現有技術中尚無較好的檢測表格類線條的技術問題。

為實現上述目的及其他相關目的，本申請的第一方面提供一種基于深度學習的表格線檢測方法，其包括：對數據表格圖像集進行圖像預處理，以形成濾除了圖像污染并計算了線條交點的位置數據的訓練樣本集；利用分割網絡模型對所述訓練樣本集中的樣本圖像進行圖像分割；在通過連通域檢測算法檢測圖像分割結果合格的情況下，基于所述線條交點的位置數據分別提取表格的豎直線和水平線。

于本申請的第一方面的一些實施例中，所述對數據表格圖像集進行圖像預處理，包括：對數據表格圖像集中的圖像進行灰度閾值化，據以生成對應的灰度圖像；對所述灰度圖像進行邊緣檢測，據以生成對應的邊緣二值圖像；對所述邊緣二值圖像進行霍夫變換，據以計算兩條或多條直線的交點的位置數據。

于本申請的第一方面的一些實施例中，所述利用分割網絡模型對所述訓練樣本集中的樣本圖像進行圖像分割，包括：將預處理后的數據表格圖像中的線條和交點按照表格屬性進行分類；利用PSPNet分割網絡模型對各類圖像進行訓練分割，并基于MIOU值來衡量分割效果。

于本申請的第一方面的一些實施例中，所述方法包括：將預處理后的數據表格圖像中的線條和交點按照表格屬性分為水平直線類、豎直線類、交點類、或者背景類。

于本申請的第一方面的一些實施例中，所述方法包括：通過連通域檢測算法檢測圖像分割結果是否合格；若合格，則基于所述線條交點的位置數據分別提取表格的豎直線和水平線；若不合格，則將分割結果不合格的數據表格圖像加入訓練樣本集中，并重新利用分割網絡模型對分割結果不合格的數據表格圖像進行圖像分割。

于本申請的第一方面的一些實施例中，所述方法包括：基于連通域檢測算法檢測圖像分割結果是否滿足線條的連續性要求；若滿足線條的連續性要求，則確定為分割結果合格；若不滿足線條的連續性要求，則在對圖像進行圖像膨脹和/或圖像腐蝕操作后繼續檢測圖像分割結果是否滿足線條的連續性要求；若仍不滿足線條的連續性要求，則確定為圖像分割結果不合格。