[發明專利]一種基于結構化殘差學習的單圖去雨方法

有效

• 申請號: 202010260462.2
• 申請日: 2020-04-03
• 公開（公告）號: CN111462013B
• 公開（公告）日: 2022-03-22
• 發明（設計）人: 孟德宇;王紅;謝琦;趙謙
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 西安智大知識產權代理事務所 61215
• 代理人: 段俊濤

1.一種基于結構化殘差學習的單圖去雨方法，包括如下步驟：

步驟1)數據準備階段：對圖像數據進行預處理，得到雨圖和對應的干凈無雨圖；

步驟2)模型建立階段：根據雨圖的生成機制，建立單圖去雨模型；其中，所述雨圖是由背景層和雨層組合形成的，對應的單圖去雨模型刻畫為：O＝B+R，其中，為雨圖，H和W分別為該雨圖的高度和寬度，為該雨圖所對應的背景層，即為干凈的無雨圖，為該雨圖所對應的雨層；

步驟3)網絡設計階段：根據雨條的先驗特性，設計一個多尺度編譯碼網絡(Multi-Scale Encoder-Decoder Network,MSEDNet)；

步驟4)網絡訓練階段：加載步驟1)預處理后的雨圖，然后將其傳入步驟3)中的多尺度編譯碼網絡，根據訓練損失函數，通過反向優化算法迭代更新多尺度編譯碼網絡，使得網絡的輸出結果逐漸逼近步驟1)預處理后的干凈無雨圖，當達到設定的迭代次數時，訓練終止，保存此時的網絡參數，即為訓練模型；

步驟5)網絡測試階段：準備待測試的雨圖，加載步驟4)中的訓練模型，將該雨圖輸入多尺度編譯碼網絡進行前向計算，網絡的輸出結果就是該測試雨圖對應的去雨圖像；

其特征在于，所述步驟3)中，根據雨條的多尺度和局部模式重復特性，設計一個多尺度編譯碼網絡，步驟如下：首先，該網絡依次使用一個3x3卷積層和兩個殘差塊來獲取淺層的特征信息，每個殘差塊均依次由3x3卷積層、ReLU層以及3x3卷積層構成，然后利用并行的網絡參數共享的三路分支來分別提取小尺度、中尺度以及大尺度的雨條，將不同尺度的雨條相加融合，從而實現雨層的提取，最后根據步驟2)的單圖去雨模型，從雨圖O中減去獲取到的該網絡的輸出，即雨層即可求得去雨背景圖其中，三路并行的分支具有相同的網絡結構，均由編譯碼網絡(Encoder-Decoder Net)構成，該三路分支通過利用具有不同擴張率(Dilated Factor,DF)的空洞卷積運算來獲取不同的感受野，從而分別提取小尺度、中尺度以及大尺度的雨條。

2.根據權利要求1所述基于結構化殘差學習的單圖去雨方法，其特征在于，所述步驟1)中圖像數據預處理方法為：分別將成對的雨圖和干凈無雨圖的像素數值范圍歸一化到0～1之間。

3.根據權利要求1所述基于結構化殘差學習的單圖去雨方法，其特征在于，根據雨條的局部模式重復特性，多尺度編譯碼網絡中每一個并行分支的編譯碼網絡由對稱的編碼部分和譯碼部分構成，其中，編碼部分由T個殘差塊構成，每個殘差塊緊跟著一個實現降采樣的池化層Maxpooling；對稱地，譯碼部分也是由T個殘差塊構成，每個殘差塊緊跟著一個實現非線性升采樣的MaxUnpooling層，然后依次使用一個1x1卷積層和3x3卷積層進行特征信息融合，再結合全局跳連接從而獲得稀疏的雨特征圖，最后利用一個空洞卷積層進行卷積運算最終提取到不同尺度的雨條。

4.根據權利要求3所述基于結構化殘差學習的單圖去雨方法，其特征在于，所述編碼部分和譯碼部分對稱的殘差塊和采樣操作之間使用局部跳連接，以加速信息傳遞和特征充分利用。

5.根據權利要求3或4所述基于結構化殘差學習的單圖去雨方法，其特征在于，對于每一個分支，Maxpooling和MaxUnpooling層所對應的核大小均為2x2，每個殘差塊均依次由空洞卷積層、ReLU層以及空洞卷積層構成，每個空洞卷積層對應的卷積核大小均為3x3，對應的擴張率為DF，對于不同的分支，DF大小不同，所提取的雨條的尺度也不同。

6.根據權利要求1或3或4所述基于結構化殘差學習的單圖去雨方法，其特征在于，所述步驟4)中訓練步驟具體包括：

(1)將雨圖O輸入多尺度編譯碼網絡得到輸出的去雨背景圖

(2)計算網絡輸出的去雨背景圖與干凈的無雨圖B的結構相似性(structuresimilarity,SSIM)為：對應的訓練損失函數設計為

(3)通過隨機梯度下降的方式減小訓練損失函數L以優化多尺度編譯碼網絡。