[發明專利]一種基于卷積網絡的表單線框檢測識別算法

在審

• 申請號: 202110119110.X
• 申請日: 2021-01-28
• 公開（公告）號: CN112800960A
• 公開（公告）日: 2021-05-14
• 發明（設計）人: 趙子昂;張順外;孔令軍
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 徐激波

本發明公開了一種基于卷積網絡的表單線框檢測識別算法，首先采用卷積網絡對表單圖片進行特征提取，針對提取到的特征圖進行像素級別的預測，獲得概率值圖；概率值圖包括代表橫線和豎線的概率值圖；對提取的概率值圖，過濾并剔除低于預設閾值的概率值點，根據過濾后的概率值圖，分別提取表單中的橫線和豎線；對于提取后存在斷點的橫線或豎線，采用速納法將擬合在一條直線上的線段重新組合，合并成橫線或豎線，獲取表單線框；本發明公開的表單線框檢測識別算法，在各種環境條件下均具有魯棒性，并降低表單中傾斜角度等因素對正確率的影響，能夠精確的識別出表單并分類，處理線段不連續或者污漬等情況；使用了不深的網絡結構，維持了模型的實時性。

技術領域

本發明涉及深度學習技術領域，主要涉及一種基于卷積網絡的表單線框檢測識別算法。

背景技術

大多數人日常辦公處理的文件,無非就是表格和文檔，其中表格的重要性毋庸置疑。在各行各業的桌面辦公場景中，經常以表格的形式呈現。可以說，表格數據作為財務數據中的關鍵信息，在財務數據的處理過程中越來越受到財務人員的重視。隨著帶攝像頭的移動設備的普及，越來越多的客戶通過這些設備拍照上傳文件圖片。因此從文件圖片中提取有效信息也成為了一項基本的任務。

盡管表提取是各種領域中的常見任務，但手動提取表信息通常是一個冗長而耗時的過程。因此，我們需要自動的表提取方法來避免手動操作。但是，對于相對復雜的財務表結構，現有的方法仍難以準確地恢復，這使得傳統的特征工程方法通常很難解碼表結構。這些方法通常依賴于可視化特性，如劃線、不同列之間的間距、表格單元格中的數據類型、它們與重疊鄰近的關系或顏色編碼的單元格塊。它們在特定布局的表或業務案例中表現得相當好，但無法跨多個域擴展。表結構的變化，以及用于可視地分離表格組件的圖形元素的變化，使得從這些圖像中提取圖像成為一個非常具有挑戰性的問題。

隨著深度學習發展，表單檢測結構化已經進行了廣泛的研究。最開始的表單檢測結構化技術使用了傳統的算法進行識別，對于環境、拍攝角度以及光照情況等不太具有魯棒性，并且表單本身的污染缺損也會影響正確率。為此，我們提取了一個新的方法，使用卷積網絡識別表單中的關鍵點，然后利用表單的固定格式以及檢測出的表單關鍵點對表單進行結構化。此方法能夠解決傳統方法的各種缺點。

在實際環境的表單檢測中，如果直接對表單進行文字定位以及識別，雖然表單能夠直接識別出結果，但兩個不同小框中的文字容易被識別成一列，而且傳統的表單線段檢測容易受到光照強度(黑暗、強光、局部失真)、污漬以及印章等的影響；表單模糊、打印出現缺損等依舊是傳統方法難以解決的點；因為各種問題使得表單上的線段殘缺將使得傳統方法完全失效。

發明內容

發明目的：為了解決上述背景技術中的問題，我們提出了一種應用于表單線段檢測的深度卷積神經網絡算法。使用神經網絡作為提取圖片特征的算法，并利用像素級別的分類判斷出存在于圖片表單中的直線以及豎線，最終利用上述方式檢測出來的橫線以及豎線進行組合排列，得出最后的表單框檢測結果。由于卷積神經網絡具有高度的魯棒性，能夠解決傳統算法不能夠解決的問題，并且對于一些即使線段缺損也能夠通過先驗知識識別出來。本發明通過優化模型性能使得算法能夠實時的運行于嵌入式設備上以滿足商業化需求。

技術方案：為實現上述目的，本發明采用的技術方案為：

一種基于卷積網絡的表單線框檢測識別算法，包括如下步驟：

步驟S1、采用卷積網絡對表單圖片進行特征提取；

步驟S2、針對提取到的特征圖進行像素級別的預測，獲得概率值圖；所述概率值圖包括代表屬于橫線的概率值圖和屬于豎線的概率值圖；

步驟S3、對于提取出的概率值圖，過濾并剔除低于預設閾值的概率值點；

步驟S4、根據過濾后的概率值圖，分別提取表單中的橫線和豎線；對于提取后存在斷點的橫線或豎線，將擬合在一條直線上的線段重新組合，合并成橫線或豎線；