[發(fā)明專利]一種基于ResNet神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201711305489.3
• 申請(qǐng)日: 2017-12-11
• 公開(kāi)（公告）號(hào): CN108230264B
• 公開(kāi)（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 王衛(wèi)星;黃德威;姜冰;陳可昕;陸健強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 華南農(nóng)業(yè)大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 林梅繁

本發(fā)明為基于ResNet神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法，實(shí)現(xiàn)了對(duì)有霧圖像端到端的去霧清晰化處理，其步驟包括：獲取同一個(gè)場(chǎng)景下的雨霧天氣狀況下的有霧圖像及晴天的清晰圖像，組成圖像數(shù)據(jù)集；對(duì)圖像數(shù)據(jù)集使用SIFT進(jìn)行關(guān)鍵點(diǎn)匹配，校正圖像的像素偏移；搭建一個(gè)基于ResNet的深度神經(jīng)網(wǎng)絡(luò)，其輸入為單幅有霧的場(chǎng)景圖像；使用所搭建的深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)降質(zhì)圖像進(jìn)行端到端的去霧清晰化處理。本發(fā)明專利使用了ResNet網(wǎng)絡(luò)，能夠較好地提取輸入圖像的特征，對(duì)特定場(chǎng)景下的有霧圖像具有很好地去霧清晰化效果，圖像視覺(jué)還原效果極佳。

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)字圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于ResNet神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法。

背景技術(shù)

室外成像系統(tǒng)由于受到空氣中的水蒸氣和塵埃等的影響，其清晰度大大地降低，圖像整體泛白，紋理特征、細(xì)節(jié)信息丟失。另外，隨著工業(yè)化的進(jìn)程加快，大氣污染日益嚴(yán)重，霧霾天氣頻繁出現(xiàn)使得大氣能見(jiàn)度急劇減小，伴隨著的問(wèn)題使得室外成像更加困難，室外獲得的圖像清晰度遠(yuǎn)遠(yuǎn)達(dá)不到智能應(yīng)用系統(tǒng)所需要的要求和人們?nèi)粘Ｊ彝馀恼账琛＝蒂|(zhì)退化的圖像很大程度限制了圖像本身的用途，例如圖像分割、目標(biāo)檢測(cè)以及圖像理解和分析的多方面的用途。因此，本發(fā)明的研究便是對(duì)霧天降質(zhì)圖像的復(fù)原和細(xì)節(jié)增強(qiáng)，基于深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)輸入圖像的盡可能的清晰化處理，以盡可能地增強(qiáng)去霧效果。

目前的圖像去霧技術(shù)主要可以分為兩大類：基于傳統(tǒng)圖像增強(qiáng)技術(shù)的圖像去霧和基于物理模型的去霧。其中基于非物理模型的圖像增強(qiáng)方法依賴于直方圖均衡技術(shù)突顯有霧圖像中我們所關(guān)注的場(chǎng)景和有用信息。這一類去霧算法的經(jīng)典方法包括單尺度和多尺度的Retinex和CLAHE等。由于不考慮霧化圖像的成因，不考慮圖像的紋理特征，圖像增強(qiáng)技術(shù)去霧后圖像通常存在著去霧不徹底、顏色失真、細(xì)節(jié)信息丟失等問(wèn)題。基于物理模型的去霧算法是對(duì)有霧圖像成像進(jìn)行建模并估算其中的相關(guān)參數(shù)進(jìn)而求取清晰無(wú)霧的圖像。該類方法在去霧上取得了很好的效果，在色彩還原、細(xì)節(jié)恢復(fù)等方面的處理比起基于圖像增強(qiáng)的方法取得了更好的效果。但是，該類方法也存在著一定的難點(diǎn)，由于物理模型是一個(gè)欠定方程，需要從輸入圖像中估算較為多的參數(shù)，參數(shù)估計(jì)的精確與否對(duì)圖像去霧的效果有著很大的影響。

發(fā)明內(nèi)容

為了解決現(xiàn)有圖像去霧技術(shù)所存在的計(jì)算量大、運(yùn)算效率低、參數(shù)估計(jì)困難等一系列問(wèn)題，本發(fā)明提供一種基于ResNet神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法，該方法通過(guò)設(shè)計(jì)一個(gè)ResNet深度卷積神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)對(duì)有霧圖像端到端的去霧清晰化處理，能夠較好地提取輸入圖像的特征，對(duì)特定場(chǎng)景下的有霧圖像具有很好地去霧清晰化效果，圖像視覺(jué)還原效果極佳。

本發(fā)明采用如下技術(shù)方案來(lái)實(shí)現(xiàn)：一種基于ResNet神經(jīng)網(wǎng)絡(luò)的單幅圖像去霧方法，包括以下步驟：

步驟一、獲取同一個(gè)場(chǎng)景下的雨霧天氣狀況下的有霧圖像及晴天的清晰圖像，組成圖像數(shù)據(jù)集，作為訓(xùn)練數(shù)據(jù)集；

步驟二、對(duì)步驟一中的圖像數(shù)據(jù)集使用SIFT進(jìn)行關(guān)鍵點(diǎn)匹配，校正圖像的像素偏移；

步驟三、搭建一個(gè)基于ResNet的深度神經(jīng)網(wǎng)絡(luò)，ResNet神經(jīng)網(wǎng)絡(luò)輸入為單幅有霧的場(chǎng)景圖像；

步驟四、使用所搭建的深度神經(jīng)網(wǎng)絡(luò)，實(shí)現(xiàn)對(duì)降質(zhì)圖像進(jìn)行端到端的去霧清晰化處理。

優(yōu)選地，步驟三所搭建的ResNet神經(jīng)網(wǎng)絡(luò)包括多個(gè)卷積層和多尺度損失函數(shù)；多個(gè)卷積層包括一個(gè)對(duì)輸入數(shù)據(jù)進(jìn)行特征提取的卷積層和多個(gè)殘差模塊，每個(gè)殘差模塊包括2個(gè)卷積層。

優(yōu)選地，所述卷積層有23個(gè)，23個(gè)卷積層包括一個(gè)對(duì)輸入數(shù)據(jù)進(jìn)行特征提取的卷積層和10個(gè)殘差模塊。

優(yōu)選地，所述多尺度損失函數(shù)包括圖像的色彩損失函數(shù)、圖像紋理?yè)p失函數(shù)和圖形細(xì)節(jié)信息損失函數(shù)；多尺度損失函數(shù)如下所示：