[發(fā)明專利]基于雙通道多尺度判別模型去雨系統(tǒng)及控制方法

在審

• 申請?zhí)枺?/td>: 202011430488.3
• 申請日: 2020-12-07
• 公開（公告）號: CN112651912A
• 公開（公告）日: 2021-04-13
• 發(fā)明（設(shè)計）人: 蓋杉;謝強強
• 申請（專利權(quán)）人: 南昌航空大學(xué)
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南昌市平凡知識產(chǎn)權(quán)代理事務(wù)所 36122
• 代理人: 張文杰

本發(fā)明公開了一種基于雙通道多尺度判別模型去雨系統(tǒng)及控制方法，所述系統(tǒng)包括：生成器和雙通道多尺度判別器，所述生成器用于生成對抗網(wǎng)絡(luò)，所述生成器具有多尺度特征提取單元和密集連接單元組成，所述多尺度特征提取單元用于獲取接收場，并根據(jù)尺度的輸入獲取多尺度雨痕信息；所述密集連接單元用于去除雨層保留背景層；所述雙通道多尺度判別器具有雙通道判別模塊，所述雙通道判別模塊用于判斷輸出去雨圖像和與真實無雨圖像真?zhèn)巍Ｆ淅秒p重判別模型生成對抗網(wǎng)絡(luò)解決雨滴對圖像的影響，增強去雨效果，解決現(xiàn)有技術(shù)中相機在雨天拍攝的圖像嚴重退化，嚴重影響圖像的視覺質(zhì)量的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機視覺領(lǐng)域，具體涉及一種基于雙通道多尺度判別模型去雨系統(tǒng)及控制方法。

背景技術(shù)

隨著科學(xué)技術(shù)的快速發(fā)展和智能手機的普及，手機和攝像頭在雨天拍攝的圖像嚴重退化，嚴重影響圖像的視覺質(zhì)量。為了提高這些退化圖像的整體質(zhì)量，以獲得更好的視覺效果，并確保視覺算法的性能得到增強，自動去除這些不希望出現(xiàn)的雨滴變得至關(guān)重要，因此圖像去雨是一個十分重要的課題。

目前現(xiàn)有的去雨的方法分成兩類：一種是基于傳統(tǒng)方法的去雨，例如基于高頻的方法，假設(shè)雨條屬于輸入圖像的高頻分量，然后通過稀疏編碼和字典學(xué)習(xí)進一步將其分為雨層和非雨層。另一種是基于卷積神經(jīng)網(wǎng)絡(luò)方法去雨，利用 CNN結(jié)構(gòu)直接學(xué)習(xí)輸入的雨景圖像與其對應(yīng)的地面真實性之間的非線性映射，并在一定的先驗信息下，實現(xiàn)了良好的視覺效果，例如多流密集連接網(wǎng)絡(luò)。

目前基于生成對抗網(wǎng)絡(luò)的圖像去雨方法中，通過密集連接生成器和多尺度判別模型進行去雨，但是現(xiàn)實世界雨密度的不均勻性且雨的尺度也不一樣，單圖像雨條紋的去除是一個極具挑戰(zhàn)性的問題；此外，為了確保生成圖像與真實世界圖像保持一致，單一判別模型存在局限性。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中相機在雨天拍攝的圖像嚴重退化，嚴重影響圖像的視覺質(zhì)量的問題，本發(fā)明實施例提供了一種基于雙通道多尺度判別模型去雨系統(tǒng)及控制方法。所述技術(shù)方案如下：

第一方面，提供了一種基于雙通道多尺度判別模型去雨系統(tǒng)，所述系統(tǒng)包括：生成器和雙通道多尺度判別器，其中：

所述生成器用于生成對抗網(wǎng)絡(luò)，所述生成器具有多尺度特征提取單元和密集連接單元組成，所述多尺度特征提取單元用于獲取接收場，并根據(jù)尺度的輸入獲取多尺度雨痕信息；所述密集連接單元用于去除雨層保留背景層；

所述雙通道多尺度判別器具有雙通道判別模塊，所述雙通道判別模塊用于判斷輸出去雨圖像和與真實無雨圖像真?zhèn)巍?/p>

進一步的，所述密集連接單元中的密集塊之間跳躍連接。

進一步的，每個所述密集塊后連接有過渡塊。

進一步的，所述雙通道多尺度判別器還具有多尺度池化模塊，所述多尺度池化模塊與雙通道判別模塊連接，所述多尺度池化模塊用于對特征進行多尺度池化。

第二方面，提供了一種基于雙通道多尺度判別模型去雨的控制方法，所述方法包括：

將數(shù)據(jù)集預(yù)處理后，輸入至生成器；

所述生成器中的多尺度特征提取單元獲取數(shù)據(jù)集，提取多尺度特征并傳入相互連接的所述多尺度特征連接后饋送至所述生成器中的密集連接單元；

所述密集連接單元去除雨層后將去雨圖像輸送至雙通道多尺度判別器中與雙通道判別模塊連接的多尺度池化模塊進行池化；

將真實無雨圖像輸送至所述雙通道多尺度判別器；所述雙通道多尺度判別器中的所述雙通道判別模塊將去雨圖像和真實無雨圖像進行比對，判斷去雨圖像與真實無雨圖像真?zhèn)危玫秸鎮(zhèn)谓Y(jié)果；

將所述真?zhèn)谓Y(jié)果輸出。