[發明專利]一種基于深度卷積神經網絡的文本矯正方法

在審

• 申請號: 202210306080.8
• 申請日: 2022-03-25
• 公開（公告）號: CN114612920A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 郭延文;孟祥祥
• 申請（專利權）人: 南京大學
• 主分類號: G06V30/412
• 分類號: G06V30/412;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 深圳峰誠志合知識產權代理有限公司 44525
• 代理人: 杜翠鳴

本發明公開了一種基于深度卷積神經網絡的文本矯正方法，包括以下步驟：步驟1：采集文本的圖像數據；步驟2：用經過預處理后的邊緣檢測神經網絡進行訓練模型；步驟3：根據步驟2得到的訓練好的模型處理原始文本圖像，得到邊緣圖像；步驟4：對邊緣圖像進行霍夫投票；步驟5：對投票結果進行篩選，以獲得合理的4條直線，組成文本輪廓；步驟6：對檢測到的四邊形輪廓，進行單應性變換，得到最終的矯正文本。原本由于拍攝姿勢不正，導致照片中文本發生畸變，比如A4紙張被拍攝成了梯形，經過該文本矯正，可還原為A4紙形狀，降低了文本檢測的錯誤率，使算法更加魯棒。

技術領域

本發明屬于視覺識別技術領域，涉及一種基于深度卷積神經網絡的文本矯正方法。

背景技術

隨著網絡技術和視頻通訊的普及，越來越多的學生開始在網上學習，有些老師要求學生把課后作業拍照上傳。學校的老師普遍采用網絡教學，課后作業也一律拍照上傳。但是，由于學生拍照的情況五花八門，比如手機水平、手機傾斜、書本旋轉傾斜等，導致拍照的文本形態各異。原本是長方形的作業紙，被拍成了梯形、平行四邊形等，老師在批改作業的時候，閱讀比較困難。在此背景下，我們希望能夠對學生的作業，進行檢測和矯正，并進行增強，來方便老師閱讀。

傳統的計算機視覺算法，對直線的檢測有很多。比如霍夫直線加測、LSD直線檢測、Canny Lines直線檢測等。這些算法，基本都是在邊緣圖像上進行直線檢測的。常見的邊緣檢測算法算子如：canny算子、拉普拉斯算子。這些傳統算法得到的邊緣圖像，在背景不是很理想的情況下，魯棒性比較差。比如霍夫直線檢測，在文本背景復雜的情況，會又很多誤檢測的直線；LSD只能檢測長直線，文本(紙張)有時候會有卷邊等非長直線的情況，會漏檢；Canny Lines也是會發生卷邊漏檢的情況。綜上所述，這些傳統的算法只能在特定的場景下使用。

發明內容

針對現有技術的不足，本發明提供了一種基于深度卷積神經網絡的文本矯正方法，從而能夠解決傳統計算機視覺解決不了的文本檢測問題。

技術方案：本發明公開了一種基于深度卷積神經網絡的文本矯正方法，其核心在于通過采集各種各樣的文本圖像，并對圖像進行添加一些遮擋物，對預處理過的文本訓練神經網絡模型，得到邊緣圖像，進而對邊緣圖像進行霍夫投票算法的處理，得到合理的文本四條邊。然后對這四條邊進行單應性變換，即可得到矯正后的文本。具體包含以下步驟：

步驟1：采集文本圖像數據，并對數據進行預處理；

步驟2：構建神經網絡模型，并使用采集的數據進行訓練；

步驟3：訓練完成后，將原圖像輸入網絡模型，得到邊緣圖像；

步驟4：對步驟3得到的邊緣圖像，進行霍夫投票；

步驟5：處理步驟4中的霍夫投票結果，得到四邊形；

步驟6：根據將步驟5中的四邊形的四個角點，對原圖像進行單應性變換，得到矯正后的文本。

進一步地，步驟1包輪數據采集與處理步驟，包括如下步驟：

在網絡上爬取相應的文本圖片，并對爬取到的圖片進行篩選，去除其中與文本不對應的圖片，并準備桌面物品作為文本圖片的噪聲，以隨機的位置，和文本圖片進行結合；

步驟1-1，從全部文本圖像中，選取部分圖像，隨機地添加些遮擋物，如鼠標、數據線、筆等常見的桌面物品，對原圖中的文本進行隨機部位的遮擋；

步驟1-2，將經過步驟2-1后的數據集中的圖像，縮放成256*256；

步驟1-3，對256*256的圖像做歸一化處理。

進一步地，步驟2包括神經網絡模型的訓練步驟，包括如下步驟：

步驟2-1，構造神經網絡模型；