[發(fā)明專利]一種基于殘余邊信息融合的端到端的去除霧方法

在審

• 申請?zhí)枺?/td>: 202011154891.8
• 申請日: 2020-10-26
• 公開（公告）號: CN112508802A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計）人: 相入喜;朱錫芳;吳峰;張龍安;許清泉;鮑玉軍;劉子康
• 申請（專利權(quán)）人: 常州工學(xué)院
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 常州西創(chuàng)專利代理事務(wù)所(普通合伙) 32472
• 代理人: 武政

1.一種基于殘余邊信息融合的端到端的去除霧方法，其特征在于包括以下步驟：

1)創(chuàng)建訓(xùn)練數(shù)據(jù)集；

2)構(gòu)建殘余邊信息融合塊；

3)構(gòu)建稠密殘余邊信息融合網(wǎng)絡(luò)；

4)構(gòu)建優(yōu)化器，獲得網(wǎng)絡(luò)的最優(yōu)參數(shù)；

5)根據(jù)最優(yōu)網(wǎng)絡(luò)參數(shù)，獲得無霧圖像。

2.根據(jù)權(quán)利要求1所述的一種基于殘余邊信息融合的端到端的去除霧方法，其特征在于所述步驟1)具體為利用已有的標(biāo)注樣本和提出的RESIDE標(biāo)注的樣本集，所述樣本集包含室內(nèi)合成霧霾圖像和室外的真實霧霾圖像兩個子集。

3.根據(jù)權(quán)利要求1所述的一種基于殘余邊信息融合的端到端的去除霧方法，其特征在于所述步驟2)中殘余邊信息融合塊包括：輸入層、6個卷積層、3個激活層、1個求和操作、輸出層，每個卷積層可以獲取不同視覺特征，所述殘余邊信息融合塊可以獲取特征層的邊信息。所述激活層是激活函數(shù)修正線性單元,即RELU。

4.根據(jù)權(quán)利要求1所述的一種基于殘余邊信息融合的端到端的去除霧方法，其特征在于所述步驟3)中稠密殘余邊信息融合網(wǎng)絡(luò)包括編碼層和解碼層，所述編碼層通過3個融合層，3個不同尺度的池化層，3個激活層，3個級聯(lián)層和1個殘余邊信息融合網(wǎng)絡(luò)層構(gòu)成，所述融合層用1x1卷積層實現(xiàn)，所述解碼層是利用編碼層獲取的信息和初始圖像預(yù)估無霧圖像。

5.根據(jù)權(quán)利要求4所述的一種基于殘余邊信息融合的端到端的去除霧方法，其特征在于所述編碼層利用若干個卷積塊層、池化層、批處理層和激活層預(yù)測霧霾圖像中的中間變量K，所述中間變量K集成了單色大氣散射模型中的透射率和大氣環(huán)境光兩個未知量，通過對已有的數(shù)據(jù)集進(jìn)行端對端的訓(xùn)練，獲得有效的K估計值，ConvB是卷積塊層，包含一個卷積層和一個批處理層兩個子層模塊，其數(shù)學(xué)表達(dá)式如下：FBN＝σ(BN(fusion(f_in)))，式中，fusion()是融合模塊，BN()是批處理模塊，發(fā)明中的池化層利用不同尺度的最大池化層實現(xiàn)，σ是激活層，設(shè)計中用RELU函數(shù)來激活利用convB模塊后學(xué)習(xí)上一層特征的圖像特征，緊接著進(jìn)行特征級聯(lián)，第i層的特征級聯(lián)的具體方法如式fc_i＝concat(fc_k),k＝1···i-1,i＜N-1，其中fc_i是第i層的視覺特征，concat是級聯(lián)操作函數(shù)，N是ConvB塊的個數(shù)，利用編碼層學(xué)習(xí)有效的K值，緊接著利用李對經(jīng)典的單色大氣散射模型改寫的圖像去霧模型計算去除霧霾后的結(jié)果，具體的形式如式和J^c(x)＝K^c(x)I^c(x)-K^c(x)+1所示，其中J是無霧圖像，I是觀察圖像，帶有霧的，x是圖像的中的像素坐標(biāo)，c是圖像通道數(shù)，K是中間變量，將大氣透射率和環(huán)境光融合在一起，減少了未知變量的估計個數(shù)，或者結(jié)合不同尺度的圖像拓展成多尺度的去除云霧網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求1所述的一種基于殘余邊信息融合的端到端的去除霧方法，其特征在于所述步驟4)具體為選用了ADAM優(yōu)化器進(jìn)行優(yōu)化，使用動量和自適應(yīng)速率可加快收斂速度，在訓(xùn)練時，學(xué)習(xí)率設(shè)置為0.0001,代價函數(shù)采用了L1范式，即取預(yù)測值和真實值的絕對誤差的平均數(shù)，其計算公式為其中，H^p表示經(jīng)過深度學(xué)習(xí)后預(yù)測的去霧圖，T表示真實無霧的清晰圖像。通過對通用的數(shù)據(jù)集和自己搭建的數(shù)據(jù)集進(jìn)行有效訓(xùn)練，可以獲得有效的網(wǎng)絡(luò)參數(shù)。