[發明專利]基于注意力機制的殘差單幅圖像去雨方法

有效

• 申請號: 202110244785.7
• 申請日: 2021-03-05
• 公開（公告）號: CN112907479B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 吳煒;汪萍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/0455;G06F3/048;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 侯瓊;王品華

1.一種基于注意力機制的殘差單幅圖像去雨方法，其特征在于，包括以下具體步驟：

(1)對輸入圖像進行預處理，得到預處理后有雨圖像；

(2)搭建注意力殘差神經網絡模型：

(2.1)采用卷積層、短跳躍連接組成的卷積殘差塊以及長跳躍連接構成殘差網絡模塊，用于對預處理后有雨圖像進行圖像特征提取；

(2.2)構建編解碼網絡模塊：

(2.2.1)由下采樣和通道注意力模塊SE_Block組成編碼器網絡，由上采樣和通道注意力模塊SE_Block組成解碼器網絡；

(2.2.2)編碼器網絡最底層的輸出特征經過通道注意力模塊SE_Block和卷積層處理后進入解碼器網絡中，其他層級上解碼器網絡與編碼器網絡對應層級的輸出特征信息通過跳躍連接方式進行疊加融合，構成編解碼網絡模塊；

(2.3)殘差網絡模塊的輸出連接編解碼網絡模塊中編碼器網絡的輸入，編解碼網絡模塊中解碼器網絡的輸出為雨紋信息；

(2.4)將步驟(1)得到的預處理后有雨圖像與編解碼網絡模塊輸出的雨紋信息進行做差處理，輸出去雨后無雨圖像，完成注意力殘差神經網絡模型的搭建；

(3)采用預處理后有雨圖像對注意力殘差神經網絡模型進行訓練，并利用損失函數對其進行約束，然后采用反向傳播進行參數更新，獲得去雨神經網絡模型；

所述損失函數具體為：

Loss＝Loss_{Smooth_L1}+λLoss_SSIM，

其中Loss_{Smooth_L1}表示光滑平均絕對誤差損失函數，表達式如下：

其中，y_i表示輸入的第i張無雨圖像，x_i表示輸入的第i張有雨圖像，f(xi)表示第i張有雨圖像經過注意力殘差神經網絡模型處理后的輸出；

Loss_SSIM表示結構相似性損失函數，表達式如下：

Loss_SSIM＝1-SSIM(Y,F(x))，

其中，Y和x分別表示輸入的無雨圖像和有雨圖像，F(x)表示輸入的有雨圖像x經過注意力殘差神經網絡模型處理后的輸出；

SSIM表示結構相似性，表達式如下：

SSIM＝[g(Y,F(x))]^α·[c(Y,F(x))]^β·[s(Y,F(x))]^γ，

其中，g、c和s分別表示亮度、對比度和結構，α、β和γ分別表示亮度系數、對比度系數和結構系數；

(4)將待處理的有雨圖像作為去雨神經網絡模型的輸入，利用去雨神經網絡模型對圖像進行去雨處理，輸出去雨后干凈圖像。

2.根據權利要求1所述的方法，其特征在于：步驟(1)中預處理具體為：將輸入圖像的像素值歸一化為[0，1]、像素大小裁剪為256*256*3。

3.根據權利要求1所述的方法，其特征在于：步驟(2.1)中的殘差網絡模塊，采用1個卷積層、5個由短跳躍連接組成的卷積殘差塊以及1個長跳躍連接構成。

4.根據權利要求3所述的方法，其特征在于：所述卷積殘差塊公式如下：

x_L+1＝x_L+F(x_L+W_L)，

其中，x_L+1為第L+1層卷積層的卷積結果，x_L為第L層卷積層的卷積結果，W_L為第L層卷積層的權重，F(x_L+W_L)表示殘差部分。

5.根據權利要求1所述的方法，其特征在于：步驟(2.2.1)中編碼器網絡由3次下采樣和3個通道注意力模塊SE_Block組成，用于逐級提取圖像特征中的雨紋特征；解碼器網絡由3次上采樣和3個通道注意力模塊SE_Block組成，用于將編碼器網絡提取的雨紋特征逐級融合，得到雨紋信息。

6.根據權利要求5所述的方法，其特征在于：所述上采樣具體由一個大小為3x3、步長為2的卷積層組成；所述下采樣具體由一個大小為3x3、步長為2的轉置卷積層組成；

所述通道注意力模塊SE_Block由全局池化層、完全連接層、ReLU激活層、完全連接層以及Sigmoid層組成。