[發(fā)明專利]一種基于雙路殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像去霧方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011214129.4
• 申請(qǐng)日: 2020-11-04
• 公開（公告）號(hào): CN112365414B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 李岳楠;徐浩宇
• 申請(qǐng)（專利權(quán)）人: 天津大學(xué)
• 主分類號(hào): G06T5/00
• 分類號(hào): G06T5/00;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責(zé)任專利代理事務(wù)所 12201
• 代理人: 韓帥

1.一種基于雙路殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像去霧方法，其特征在于，所述方法包括：

101：基于大氣散射模型使用已知景深、隨機(jī)選取全局大氣光和大氣散射系數(shù)對(duì)采集無(wú)霧圖像和深度信息進(jìn)行處理建立包含成對(duì)有霧和無(wú)霧圖像的訓(xùn)練圖像集；

102：構(gòu)建去霧神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)包含特征預(yù)提取模塊、特征轉(zhuǎn)換模塊和圖像恢復(fù)模塊，

103：采用L1范數(shù)損失函數(shù)、結(jié)構(gòu)相似性損失函數(shù)、圖像梯度損失函數(shù)和感知損失函數(shù)的線性組合訓(xùn)練去霧神經(jīng)網(wǎng)絡(luò)；

104：將單幅有霧圖像輸入訓(xùn)練好的去霧神經(jīng)網(wǎng)絡(luò)，得到去霧圖像，其中：

所述特征預(yù)提取模塊由若干卷積層和下采樣層組成；

所述特征轉(zhuǎn)換模塊提取的中間特征分為兩個(gè)尺度，用于與雙路殘差卷積單元相連；

所述雙路殘差卷積單元由多個(gè)雙路殘差卷積層級(jí)聯(lián)而成；

所述圖像恢復(fù)模塊由上采樣層、通道注意力層和卷積層組成，使用Tanh作為最后一層的激活函數(shù)，生成去霧后的圖像；其中：特征轉(zhuǎn)換模塊中的雙路殘差卷積單元通過(guò)對(duì)有霧圖像特征的反復(fù)變換，獲取不同的感受野來(lái)提取與霧有關(guān)的特征；其中：

多個(gè)級(jí)聯(lián)的雙路殘差卷積單元有的每個(gè)雙路殘差卷積單元由上采樣層，G模塊、通道注意力層、下采樣層、H模塊組成；所述G模塊和H模塊的結(jié)構(gòu)相同，所述G模塊和H模塊位于雙路殘差卷積單元內(nèi)的不同位置，其中：G模塊與上一個(gè)雙路殘差卷積單元中的G模塊輸出結(jié)果相加，H模塊與上一個(gè)雙路殘差卷積單元中的H模塊輸出結(jié)果相加；

所述雙路殘差卷積單元中的G模塊和H模塊對(duì)第一階段圖像特征處理步驟：

所述G模塊和H模塊將輸入圖像特征X送入卷積核分別為3×3和5×5的兩個(gè)卷積層，將兩個(gè)卷積層分別記為和兩個(gè)卷積層輸出的結(jié)果相加得到中間特征M，即：

中間特征M再被輸入至另外兩個(gè)卷積核分別為3×3和5×5的卷積層，將兩個(gè)卷積層分別記為和

將兩個(gè)卷積層的輸出與M和X相加得到模塊的輸出圖像特征Y，即：

Y＝C_3×3(M)+C_5×5(M)+M+X

由G模塊或H模塊輸出的圖像特征Y之后被送入下一個(gè)雙路殘差卷積單元中相對(duì)應(yīng)的G模塊或H模塊作為輸入；其中，不同的雙路殘差卷積單元對(duì)應(yīng)不同的輸入特征X和輸出特征Y；

第一個(gè)雙路殘差卷積單元的輸入X為特征預(yù)提取模塊輸出的第一階段特征，一個(gè)雙路殘差卷積單元的輸出為整個(gè)特征轉(zhuǎn)換模塊輸出的第二階段特征。

2.根據(jù)權(quán)利要求1所述一種基于雙路殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像去霧方法，其特征在于，去霧網(wǎng)絡(luò)采用如下步驟對(duì)訓(xùn)練圖像集中有霧圖像特征處理過(guò)程：

所述特征預(yù)提取模塊通過(guò)多個(gè)卷積層對(duì)訓(xùn)練圖像集中有霧圖像特征進(jìn)行提取獲得第一階段圖像特征；

所述特征轉(zhuǎn)換模塊采用多個(gè)級(jí)聯(lián)的雙路殘差卷積單元對(duì)第一階段圖像特征進(jìn)行處理獲得第二階段圖像特征；

所述圖像恢復(fù)模塊利用多個(gè)卷積層和通道注意力層將第二階段圖像特征進(jìn)行轉(zhuǎn)化獲得無(wú)霧圖像特征圖像輸出。

3.根據(jù)權(quán)利要求1所述的一種基于雙路殘差卷積神經(jīng)網(wǎng)絡(luò)的圖像去霧方法，其特征在于，所述圖像恢復(fù)模塊由卷積層和通道注意力層組成，使用Tanh作為最后一層的激活函數(shù)，生成去霧后的圖像，其中注意力層對(duì)第二階段圖像特征處理過(guò)程為：

輸入第二階段圖像特征連續(xù)通過(guò)兩層卷積核為1×1的卷積層和一個(gè)Sigmoid函數(shù)，兩層卷積的卷積核的個(gè)數(shù)分別為c/k和c；

將后一個(gè)卷積層輸出的特征圖輸入至Sigmoid函數(shù)，輸出c個(gè)通道的權(quán)重系數(shù)；

再將輸入特征圖的每個(gè)通道與對(duì)應(yīng)的權(quán)重系數(shù)相乘，相乘之后的結(jié)果輸入至與該注意力層相連的下一個(gè)卷積層。