[發明專利]一種基于特征域循環一致性的半監督圖像去雨方法

在審

• 申請號: 202111319093.0
• 申請日: 2021-11-09
• 公開（公告）號: CN114119393A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 余磊;周維怡;何敬偉;王碧杉
• 申請（專利權）人: 武漢大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于，包括如下步驟：

步驟1，根據已有干凈圖像，通過添加雨線得到對應合成帶雨圖像，將每對干凈圖像和合成帶雨圖像以及一張真實場景雨圖作為一組訓練樣本，建立訓練集；

步驟2，網絡模型構建，去雨網絡模型具體包括主干去雨網絡和半監督約束模塊兩部分，主干去雨網絡模型采用“編碼器Encoder-解碼器Decoder”結構，其中編碼器Encoder用于對輸入圖像進行特征提取，解碼器Decoder用于從特征重建回圖像，半監督約束模塊包括多個多層感知機MLP結構；

步驟3，損失函數設計，損失函數包括監督損失和無監督損失，監督損失采用最小均方誤差MSE損失函數，無監督損失則是循環一致性損失；

步驟4，利用步驟1中構建的數據集以及步驟3中的損失函數對網絡模型進行訓練；

步驟5，將待測試的帶雨圖像輸入到訓練好的網絡模型中，獲得相應的去雨圖像。

2.如權利要求1所述的一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于：步驟2中主干去雨網絡中的編碼器Encoder包括一個卷積層Conv、多個下采樣層DownSample和多個殘差模塊ResBlcok，每個ResBlock包含一個卷積層和一個ReLU激活層；解碼器Decoder包括多個ResBlock、多個上采樣層UpSample和一個卷積層。

3.如權利要求2所述的一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于：編碼器Encoder的具體實現為，輸入圖像經過一個卷積層進行通道變換，然后經過三組“ResBlock-DownSample”模塊以及三個ResBlock模塊進行特征提取；解碼器Decoder的具體實現為，所提取特征經過三組“ResBlock-UpSample”和一個卷積層進行圖像重建。

4.如權利要求1所述的一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于：步驟2中，為保證合成數據分布與真實數據分布之間分布映射的可逆性，半監督約束模塊采用兩個相同的MLP結構，每個MLP具有三個全連接層Fc和兩個ReLU激活層，具體為“Fc-ReLU-Fc-ReLU-Fc”。

5.如權利要求1所述的一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于：步驟3中監督損失為MSE損失函數，表達式如下：

其中，x_gt是干凈圖像，x_predict是網絡預測的去雨圖像，監督損失可以端到端約束網絡學習合成數據分布，降低網絡學習難度。

6.如權利要求1所述的一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于：步驟3中無監督損失為循環一致性損失函數，表達式如下：

其中，z_syn是合成帶雨圖像的特征，z_real是真實場景雨圖的特征，分別是合成雨圖和真實雨圖經過編碼器的輸出，T_s2r與T_r2s用于合成數據域與真實數據域之間的相互轉化，T_s2r與T_r2s的結構為多層感知機MLP，無監督損失用于約束網絡學習合成數據和真實數據之間的公共特征，提高網絡在真實場景的泛化性。

7.如權利要求1所述的一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于：最終綜合的損失函數為；

其中，為最終損失函數，為監督損失函數，為無監督損失函數，λ_cc為權重參數，用于調整監督損失與無監督損失懲罰比例。

8.如權利要求1所述的一種基于特征域循環一致性的半監督圖像去雨方法，其特征在于：步驟1中，每組訓練數據包括一張真實場景雨圖、一張合成帶雨圖及其干凈圖像，采用翻轉、旋轉、縮放、裁剪手段進行數據增強，然后輸入網絡模型進行訓練優化；其中，合成帶雨圖數據借助于Photoshop軟件，對大量干凈圖像添加合成雨線來獲得合成樣本對，真實場景雨圖數據來源于網絡以及自行拍攝采集。