[發(fā)明專利]一種基于深度學(xué)習(xí)的扭曲圖像矯正方法、裝置和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110018743.1
• 申請日: 2021-01-07
• 公開（公告）號: CN112597998A
• 公開（公告）日: 2021-04-02
• 發(fā)明（設(shè)計）人: 朱遠平;吳磊;張立新
• 申請（專利權(quán)）人: 天津師范大學(xué)
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京盛凡智榮知識產(chǎn)權(quán)代理有限公司 11616
• 代理人: 朱學(xué)繪

本發(fā)明提供了一種基于深度學(xué)習(xí)的扭曲圖像矯正方法、裝置和存儲介質(zhì)，涉及圖像處理技術(shù)領(lǐng)域，包括：提取扭曲圖像的特征數(shù)據(jù)；以訓(xùn)練圖像和訓(xùn)練圖像對應(yīng)的偏移圖作為訓(xùn)練數(shù)據(jù)，構(gòu)建用于矯正的深度神經(jīng)網(wǎng)絡(luò)模型；根據(jù)特征數(shù)據(jù)，識別出扭曲圖像中的待矯正元素；利用用于矯正的深度神經(jīng)網(wǎng)絡(luò)模型預(yù)測待矯正元素的偏移圖，生成預(yù)測偏移圖；根據(jù)預(yù)測偏移圖矯正扭曲圖像。該方法基于圖像特征識別縮小了處理范圍，從而有效降低扭曲圖像中背景、干擾圖形和光照等因素對于矯正效果的影響，提高基于深度學(xué)習(xí)的扭曲矯正方法的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體而言，涉及一種基于深度學(xué)習(xí)的扭曲圖像矯正方法、裝置和存儲介質(zhì)。

背景技術(shù)

在傳統(tǒng)的文檔數(shù)字化過程中，通常使用掃描儀對文檔進行掃描，得到清晰平整的文檔圖像進行存儲。但是掃描儀體積過大，不易攜帶，需要對文檔進行按壓，使用不便。隨著移動產(chǎn)品的發(fā)展，使用手機等移動設(shè)備進行文檔掃描已經(jīng)是一種趨勢，雖然手機的出現(xiàn)很大程度上代替了掃描儀，隨之而來也出現(xiàn)了一些問題，比如使用手機拍攝文檔時由于拍攝設(shè)備和文檔平面不平行導(dǎo)致的透視形變，以及文檔本身沒有完全展開，存在彎曲甚至折痕。這會嚴(yán)重影響后續(xù)的光學(xué)字符識別等任務(wù)。目前，針對扭曲文檔矯正的方法一般主要可以分為：基于三維重建的方法；基于模型的方法和基于深度學(xué)習(xí)的方法。對于三維重建的方法，通常使用專門的硬件設(shè)備來完成矯正，比如結(jié)構(gòu)光源、立體照相機或者激光相機。通過這些設(shè)備獲得文檔的三維信息。通過三維重建得到變形文檔和平整文檔之間的映射關(guān)系，最后完成矯正，此方法可以有效處理變形，得到比較優(yōu)秀的效果，但是此類方法對于硬件的要求過高，限制了方法的應(yīng)用，通過手機無法完成矯正。對于基于模型的方法，通過將彎曲文檔的表面建模為廣義圓柱體來完成矯正，此類方法通常矯正效果不錯但是適應(yīng)的場景不多，大多數(shù)扭曲和理想的模型差距較大。對于基于深度學(xué)習(xí)的方法，通常使用語義分割的模型對扭曲原圖進行偏移圖的預(yù)測，此類方法適用于彎曲和折疊等多種復(fù)雜場景，但是矯正效果不夠理想。

發(fā)明內(nèi)容

本發(fā)明旨在至少解決現(xiàn)有技術(shù)或相關(guān)技術(shù)中存在的技術(shù)問題之一，公開了一種基于深度學(xué)習(xí)的扭曲圖像矯正方法、裝置和存儲介質(zhì)，通過改良基于深度學(xué)習(xí)的矯正方法，降低扭曲圖像中的背景、光照和干擾圖形等噪聲的影響，達到更好的矯正效果，提高矯正效率，降低運算量。

本發(fā)明的第一方面公開了一種基于深度學(xué)習(xí)的扭曲圖像矯正方法，包括：提取扭曲圖像的特征數(shù)據(jù)；以訓(xùn)練圖像和訓(xùn)練圖像對應(yīng)的偏移圖作為訓(xùn)練數(shù)據(jù)，構(gòu)建用于矯正的深度神經(jīng)網(wǎng)絡(luò)模型；根據(jù)特征數(shù)據(jù)，識別出扭曲圖像中的待矯正元素；利用用于矯正的深度神經(jīng)網(wǎng)絡(luò)模型預(yù)測待矯正元素的偏移圖，生成預(yù)測偏移圖；根據(jù)預(yù)測偏移圖矯正扭曲圖像。

在該技術(shù)方案中，提取待矯正扭曲圖像的特征數(shù)據(jù)，根據(jù)特征數(shù)據(jù)識別出待矯正圖像中的目標(biāo)元素(待矯正元素)，例如，根據(jù)文本行檢測算法，獲得圖像的文本特征圖(此時特征數(shù)據(jù)即為文本特征圖)以識別出圖像中的文檔，準(zhǔn)確定位待矯正圖像中的目標(biāo)元素，針對目標(biāo)元素進行計算，減少背景噪聲對矯正結(jié)果的影響，降低了運算量。

根據(jù)本發(fā)明公開的基于深度學(xué)習(xí)的扭曲圖像矯正方法，優(yōu)選地，提取扭曲圖像的特征數(shù)據(jù)的步驟，具體包括：利用深度神經(jīng)網(wǎng)絡(luò)模型對扭曲圖像進行文本行檢測，提取文本行中心線，生成扭曲圖像的文本特征圖作為所述特征數(shù)據(jù)。

在該技術(shù)方案中，針對扭曲文檔的復(fù)雜場景，使用神經(jīng)網(wǎng)絡(luò)模型對扭曲的文檔圖像進行文本行檢測，提取文本行的中心線特征用于訓(xùn)練和矯正。直接使用文本特征而不是原圖進行訓(xùn)練和預(yù)測可以有效的降低扭曲場景的復(fù)雜度，排除背景、光照和圖像等影響，提高矯正的魯棒性。

根據(jù)本發(fā)明公開的基于深度學(xué)習(xí)的扭曲圖像矯正方法，優(yōu)選地，利用深度神經(jīng)網(wǎng)絡(luò)模型對扭曲圖像進行文本行檢測，提取文本行中心線，生成扭曲圖像的文本特征圖的步驟，具體包括：使用預(yù)訓(xùn)練的語義分割模型提取扭曲圖像的文本區(qū)域特征圖和文本行中心線特征圖；使用文本區(qū)域特征圖和文本行中心線特征圖進行后處理，生成精準(zhǔn)化的文本行中心線特征圖。