[發明專利]一種基于特征監督生成對抗網絡的去雨方法

在審

• 申請號: 202011335105.4
• 申請日: 2020-11-24
• 公開（公告）號: CN112507817A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 蓋杉;盧貝
• 申請（專利權）人: 南昌航空大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南昌華成聯合知識產權代理事務所(普通合伙) 36126
• 代理人: 張建新

本發明涉及圖像處理技術領域，提供了一種基于特征監督生成對抗網絡的去雨方法。為了提高網絡的魯棒性和參數利用率，本發明的方法在生成器將Dense Block模塊作為U?Net網絡結構的組成部分。DenseNet的網絡結構的每一個卷積層都能和其他的卷積層相互連接，加強了特征傳播，提高了參數的利用率。此外，本發明的方法在網絡的隱藏層的激活函數采用Leaky ReLu代替ReLU，以解決ReLU在輸入值為負的時候，輸出始終為0，這樣會導致神經元不能更新參數，也就是神經元不學習的問題。

技術領域

本發明涉及圖像處理技術領域，具體涉及圖像去雨的方法。

背景技術

在雨天的條件下，所獲得的圖像或者視頻通常會因為雨水的干擾而產生模糊和遮蓋等一些不好的影響。因此研究圖像去雨技術是一個十分有意義的課題。

現有的去雨方法主要劃分為兩類：基于單圖像和基于視頻的去雨方法。在基于視頻的去雨算法中，通常采用的方法是是利用額外的時間信息。在基于單圖像去雨的方法中，基于先驗的方法通常會導致背景的過度平滑，近年來除了基于先驗的方法外，人們通常還會采用卷積神經網絡的方法，實驗證明卷積神經網絡的方法在去雨的問題上表現很好，因此卷積神經網絡在近些年得到了廣泛的應用。例如，論文Density-aware single imagede-raining using a multi-stream dense network(DID-MDN)記載了一種多流密集連接的去雨網絡，有效地利用了不同尺度的特征來去雨；論文Removing rain from singleimages via a deep detail network記載了利用先驗圖像域知識和深度細節網絡來消除雨痕的方法；論文Single Image De-Raining Via Generative Adversarial Nets(GAN-SID)記載了采用生成對抗網絡進行去雨的方法；論文Single-Image De-Raining WithFeature-Supervised Generative Adversarial Network(FS-GAN)記載了特征監督生成對抗網絡的方法，其與一般的在網絡輸出層提供監督的方法不同，在生成器G中明確地施加了特征級監督提高去雨效果，因為這些特征給與更多的引導并且特征正則化為不同的層提供梯度信從而可以平滑和穩定訓練。

發明內容

為了提升去雨效果，本發明提供一種基于特征監督生成對抗網絡的去雨方法。

本發明提供的一種基于特征監督生成對抗網絡的去雨方法，包括以下步驟：

(1)獲取訓練圖像數據，所述訓練圖像數據包括為有雨圖像和無雨圖像對；

(2)對所述訓練圖像數據進行預處理；

(3)構建單圖像去雨的神經網絡模型，采用生成對抗網絡模型，所述生成對抗網絡模型包括生成器和判別器；其中，生成器整體采用U-Net結構，并采用跳躍連接；在U-Net結構中采用8個密集塊(Dense Block)，每個密集塊包含4個卷積層，每個密集塊后面都有一個過渡層(transition layers)；

(4)將步驟(2)預處理后的所述訓練圖像數據輸入步驟(3)的所述神經網絡模型中，對所述神經網絡模型進行訓練，經過多次訓練優化得到最優模型；

(5)將待去雨的圖像輸入到所述最優模型中，輸出去雨圖像。

進一步地，步驟(1)所述有雨圖像和無雨圖像對為三通道的RGB圖像。

進一步地，步驟(2)所述預處理包括歸一化處理。

進一步地，步驟(3)所述神經網絡模型中隱藏層使用的激活函數為Leaky Relu函數。

進一步地，在步驟(4)的訓練過程中，用一個特征正則化的正則化器使從有雨圖像中提取的特征近似于從無雨圖像中提取的特征。