[發(fā)明專利]基于區(qū)域劃分及濃霧預(yù)處理的卷積神經(jīng)網(wǎng)絡(luò)去霧方法

有效

• 申請?zhí)枺?/td>: 201710414385.X
• 申請日: 2017-06-05
• 公開（公告）號: CN107301624B
• 公開（公告）日: 2020-03-17
• 發(fā)明（設(shè)計(jì)）人: 龐彥偉;廉旭航
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 程毓英

本發(fā)明涉及一種基于區(qū)域劃分及濃霧預(yù)處理的卷積神經(jīng)網(wǎng)絡(luò)去霧算法，步驟如下：將有霧圖像劃分成不重疊的圖像塊；對于每個(gè)圖像塊，計(jì)算其暗通道值D_i；區(qū)分濃霧圖像塊和薄霧圖像塊；分別估算透射率；對P_i進(jìn)行去霧，得到無霧圖像塊。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺、圖像處理領(lǐng)域恢復(fù)圖像清晰度的算法，特別涉及采用學(xué)習(xí)的方法進(jìn)行去霧的算法

背景技術(shù)

圖像去霧算法是一種從有霧圖像中恢復(fù)出原始無霧圖像的算法，主要目的是提高受到霧的影響而成像質(zhì)量惡化的圖像的清晰度，廣泛應(yīng)用于交通運(yùn)輸、衛(wèi)星遙感、視頻監(jiān)控、國防軍事等對圖像質(zhì)量有較高要求的行業(yè)。

當(dāng)前，很多方法致力于在學(xué)習(xí)的框架下，通過學(xué)習(xí)反映霧的大小程度的特征與透射率之間的關(guān)系來實(shí)現(xiàn)對透射率的預(yù)測，最終通過霧天圖像的成像模型恢復(fù)原始無霧圖像。該類方法的研究重點(diǎn)是如何提取與霧的大小相關(guān)的特征來提高對透射率的預(yù)測準(zhǔn)確性。2014年,Tang[1]提出直接從有霧圖像塊中提取暗通道、最大對比度、色調(diào)差異、最大飽和度這幾種能反映霧的大小程度的特征。為了保證對透射率預(yù)測的準(zhǔn)確性及魯棒性，每一種特征又同時(shí)提取了不同的尺度。最終，通過訓(xùn)練好的隨機(jī)森林來實(shí)現(xiàn)對透射率的估計(jì)。在自然場景下，該方法雖然對薄霧區(qū)域有較好的效果，但對于濃霧區(qū)域的透射率估計(jì)得準(zhǔn)確度卻大大降低。其主要原因是濃霧區(qū)域的光線比薄霧區(qū)域的光線受到更大的衰減及散射的影響，使得濃霧區(qū)域的各種特征非常的不明顯且高度近似，嚴(yán)重降低了隨機(jī)森林對這部分區(qū)域透射率預(yù)測的準(zhǔn)確性。2015年，Zhu[2]發(fā)現(xiàn)亮度與飽和度的差值能夠很好地反映霧的大小。根據(jù)這一先驗(yàn)知識(shí)，通過學(xué)習(xí)的方法得到有霧條件下景物的深度與飽和度和亮度之間的關(guān)系。利用這一關(guān)系，對有霧圖像中景物的深度進(jìn)行估計(jì)，從而計(jì)算出透射率，最終恢復(fù)原始無霧圖像。同樣，該方法并沒有考慮到濃霧區(qū)域特征非常的不明顯以及該區(qū)域圖像塊之間特征的極度相似性，使得估計(jì)出的深度與亮度和飽和度之間關(guān)系的模型無法適用于濃霧區(qū)域。2015年，Wang[3]從局部區(qū)域提取對比度直方圖及暗通道特征來訓(xùn)練SVM分類器，通過訓(xùn)練好的SVM分類器來判斷圖片中天氣的種類以及圖片清晰度的惡化程度。然而，由于濃霧區(qū)域細(xì)節(jié)消失較為嚴(yán)重，使得計(jì)算得到的對比度往往只集中在很小的范圍內(nèi)。此外，由于濃霧區(qū)域亮度值變化較小，使得局部圖像塊得到的暗通道特征可區(qū)分性很小。綜上兩方面原因，使得該方法無法應(yīng)用于濃霧區(qū)域。2016年，Ren[4]將兩個(gè)卷積網(wǎng)絡(luò)結(jié)合起來估計(jì)透射率。該方法將有霧圖像作為輸入，同時(shí)輸入給粗尺度網(wǎng)絡(luò)及細(xì)尺度網(wǎng)絡(luò)，并將兩個(gè)網(wǎng)絡(luò)相結(jié)合，最終輸出估計(jì)的透射率圖。但由于濃霧區(qū)域的特征非常的近似，且由于網(wǎng)絡(luò)采用的是上采樣及池化操作，使得最終得到的透射率圖在濃霧區(qū)域過于的平滑，無法很好地體現(xiàn)差異性，導(dǎo)致最終恢復(fù)出來的圖像在濃霧區(qū)域細(xì)節(jié)不夠清晰。2016年，Cai[5]將原始有霧圖像的圖像塊輸入到卷積神經(jīng)網(wǎng)絡(luò)，通過卷積網(wǎng)絡(luò)估計(jì)圖像塊的透射率，從而恢復(fù)出原始無霧圖像。綜上，由于濃霧區(qū)域本身存在相關(guān)特征非常不明顯以及局部區(qū)域之間特征高度相似，使得上述基于學(xué)習(xí)的方法對于濃霧區(qū)域透射率預(yù)測的準(zhǔn)確度大大降低，最終導(dǎo)致對于濃霧區(qū)域的去霧效果很不理想。

參考文獻(xiàn)：

[1]K.Tang,J.Yang,J.Wang,Investigating haze-relevant features in alearning framework for image dehazing,in Proc.IEEE Conf.Comput.Vis.PatternRecognit.,2014.

[2]Q.Zhu,J.Mai,L.Shao,A fast single image haze removal algorithmusing color attenuationprior,IEEE Trans.Image Process.,vol.24,no.11,pp.3522–3533,2015.