[發(fā)明專利]一種基于特征監(jiān)督生成對抗網(wǎng)絡(luò)的去雨方法

在審

• 申請?zhí)枺?/td>: 202011335105.4
• 申請日: 2020-11-24
• 公開（公告）號(hào): CN112507817A
• 公開（公告）日: 2021-03-16
• 發(fā)明（設(shè)計(jì)）人: 蓋杉;盧貝
• 申請（專利權(quán)）人: 南昌航空大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南昌華成聯(lián)合知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 36126
• 代理人: 張建新

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，提供了一種基于特征監(jiān)督生成對抗網(wǎng)絡(luò)的去雨方法。為了提高網(wǎng)絡(luò)的魯棒性和參數(shù)利用率，本發(fā)明的方法在生成器將Dense Block模塊作為U?Net網(wǎng)絡(luò)結(jié)構(gòu)的組成部分。DenseNet的網(wǎng)絡(luò)結(jié)構(gòu)的每一個(gè)卷積層都能和其他的卷積層相互連接，加強(qiáng)了特征傳播，提高了參數(shù)的利用率。此外，本發(fā)明的方法在網(wǎng)絡(luò)的隱藏層的激活函數(shù)采用Leaky ReLu代替ReLU，以解決ReLU在輸入值為負(fù)的時(shí)候，輸出始終為0，這樣會(huì)導(dǎo)致神經(jīng)元不能更新參數(shù)，也就是神經(jīng)元不學(xué)習(xí)的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及圖像去雨的方法。

背景技術(shù)

在雨天的條件下，所獲得的圖像或者視頻通常會(huì)因?yàn)橛晁母蓴_而產(chǎn)生模糊和遮蓋等一些不好的影響。因此研究圖像去雨技術(shù)是一個(gè)十分有意義的課題。

現(xiàn)有的去雨方法主要?jiǎng)澐譃閮深悾夯趩螆D像和基于視頻的去雨方法。在基于視頻的去雨算法中，通常采用的方法是是利用額外的時(shí)間信息。在基于單圖像去雨的方法中，基于先驗(yàn)的方法通常會(huì)導(dǎo)致背景的過度平滑，近年來除了基于先驗(yàn)的方法外，人們通常還會(huì)采用卷積神經(jīng)網(wǎng)絡(luò)的方法，實(shí)驗(yàn)證明卷積神經(jīng)網(wǎng)絡(luò)的方法在去雨的問題上表現(xiàn)很好，因此卷積神經(jīng)網(wǎng)絡(luò)在近些年得到了廣泛的應(yīng)用。例如，論文Density-aware single imagede-raining using a multi-stream dense network(DID-MDN)記載了一種多流密集連接的去雨網(wǎng)絡(luò)，有效地利用了不同尺度的特征來去雨；論文Removing rain from singleimages via a deep detail network記載了利用先驗(yàn)圖像域知識(shí)和深度細(xì)節(jié)網(wǎng)絡(luò)來消除雨痕的方法；論文Single Image De-Raining Via Generative Adversarial Nets(GAN-SID)記載了采用生成對抗網(wǎng)絡(luò)進(jìn)行去雨的方法；論文Single-Image De-Raining WithFeature-Supervised Generative Adversarial Network(FS-GAN)記載了特征監(jiān)督生成對抗網(wǎng)絡(luò)的方法，其與一般的在網(wǎng)絡(luò)輸出層提供監(jiān)督的方法不同，在生成器G中明確地施加了特征級(jí)監(jiān)督提高去雨效果，因?yàn)檫@些特征給與更多的引導(dǎo)并且特征正則化為不同的層提供梯度信從而可以平滑和穩(wěn)定訓(xùn)練。

發(fā)明內(nèi)容

為了提升去雨效果，本發(fā)明提供一種基于特征監(jiān)督生成對抗網(wǎng)絡(luò)的去雨方法。

本發(fā)明提供的一種基于特征監(jiān)督生成對抗網(wǎng)絡(luò)的去雨方法，包括以下步驟：

(1)獲取訓(xùn)練圖像數(shù)據(jù)，所述訓(xùn)練圖像數(shù)據(jù)包括為有雨圖像和無雨圖像對；

(2)對所述訓(xùn)練圖像數(shù)據(jù)進(jìn)行預(yù)處理；

(3)構(gòu)建單圖像去雨的神經(jīng)網(wǎng)絡(luò)模型，采用生成對抗網(wǎng)絡(luò)模型，所述生成對抗網(wǎng)絡(luò)模型包括生成器和判別器；其中，生成器整體采用U-Net結(jié)構(gòu)，并采用跳躍連接；在U-Net結(jié)構(gòu)中采用8個(gè)密集塊(Dense Block)，每個(gè)密集塊包含4個(gè)卷積層，每個(gè)密集塊后面都有一個(gè)過渡層(transition layers)；

(4)將步驟(2)預(yù)處理后的所述訓(xùn)練圖像數(shù)據(jù)輸入步驟(3)的所述神經(jīng)網(wǎng)絡(luò)模型中，對所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，經(jīng)過多次訓(xùn)練優(yōu)化得到最優(yōu)模型；

(5)將待去雨的圖像輸入到所述最優(yōu)模型中，輸出去雨圖像。

進(jìn)一步地，步驟(1)所述有雨圖像和無雨圖像對為三通道的RGB圖像。

進(jìn)一步地，步驟(2)所述預(yù)處理包括歸一化處理。

進(jìn)一步地，步驟(3)所述神經(jīng)網(wǎng)絡(luò)模型中隱藏層使用的激活函數(shù)為Leaky Relu函數(shù)。

進(jìn)一步地，在步驟(4)的訓(xùn)練過程中，用一個(gè)特征正則化的正則化器使從有雨圖像中提取的特征近似于從無雨圖像中提取的特征。