[發明專利]一種基于生成對抗網絡的細化單幅圖像去雨方法

有效

• 申請號: 201911127320.2
• 申請日: 2019-11-18
• 公開（公告）號: CN110992275B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 侯永宏;蘇曉雨;李士超;郭子慧;聶夢真
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 天津盛理知識產權代理有限公司 12209
• 代理人: 陳娟

本發明涉及一種基于生成對抗網絡的細化單幅圖像去雨方法，將有雨圖像輸入到雨紋估計網絡，得到估計的雨紋圖，與輸入圖像連接形成多通道的圖像，輸入到生成模型，生成模型生成的無雨圖像輸入到判別器進行判斷，根據判斷的結果來優化生成器，最終得到去雨能力較強的生成器網絡，生成模型的輸出作為圖像細化網絡的輸入，對圖像進行進一步的處理，得到最終的無雨圖像。本發明算法是一種端到端的算法，不需要進行任何額外的預處理和后處理。相較于其他使用生成對抗網絡進行單幅圖像區域的工作，本發明提出了兩個輔助網絡，能夠在不顯著增加計算量的同時進一步提升圖像去雨效果。

技術領域

本發明屬于多媒體圖像處理領域，涉及到計算機視覺、深度學習技術，尤其是一種基于生成對抗網絡的單幅圖像去雨方法。

技術背景

雨是一種最常見的惡劣天氣，雨天中得到的圖像往往有比較糟糕的視覺效果。與此同時，很多計算機視覺的算法通常默認輸入為干凈的圖像，因此帶雨的圖像對這些算法往往產生不好的影響，降低他們的性能。單幅圖像去雨方法就是利用已有的先驗信息，對輸入圖像進行一定的處理，得到一個干凈的無雨的圖像。

去雨算法主要分為視頻去雨和圖像去雨。視頻、圖像去雨算法已經發展的較為成熟，這些模型可以利用視頻中存在的時間信息，準確的定位雨點，從而準確地去除雨點，但是對于單副圖像去雨來說，我們得到的輸入只是單幅圖像，因而沒有辦法利用時間信息，這為準確的定位雨點消除雨點帶來了很大的挑戰。目前圖像去雨算法主要分為三種，基于圖像處理知識的去雨算法，基于稀疏編碼字典學習和分類器的去雨算法以及基于深度學習的圖像去雨算法。前兩種算法計算比較簡單，成本比較低。但是他們雖然在某些數據集上取得了不錯的效果，但是由于不同的圖像中雨點的密集程度、方向都會發生較大的變化，因此不能實際應用于具體的場景中。

發明內容

本發明的目的在于克服現有技術的不足之處，提出了一個基于生成對抗網絡的單幅圖像去雨方法。基于對抗訓練的思想，針對帶雨圖像進行網絡模型訓練，得到無雨的干凈圖像。

本發明生成器使用編碼-轉換-解碼的網絡結構，對帶雨圖像進行處理和重建。與此同時，為了得到更好的結果，本發明設計了兩個輔助網絡，即雨紋估計網絡和圖像細化網絡。雨紋估計網絡可以根據輸入的有雨圖像估計圖像中雨的分布情況，為生成模型的訓練提供參考信息，能夠有效地提升效果。圖像細化網絡能夠對生成模型的生成結果進行進一步的細化和重建，消除生成模型輸出圖像中的模糊和雨痕殘留問題。總體訓練過程如下：有雨圖像輸入到雨紋估計網絡，得到估計的雨紋圖，與輸入圖像連接形成6通道的圖像，輸入到生成模型，生成模型生成的無雨圖像輸入到判別器進行判斷，根據判斷的結果來優化生成器，最終得到去雨能力較強的生成器網絡。生成模型的輸出作為圖像細化網絡的輸入，對圖像進行進一步的處理，得到最終的無雨圖像。本發明使用的網絡是端到端進行訓練，不需要任何額外的預處理和后處理。

具體步驟如下：

(1)對輸入圖像進行歸一化處理，使圖像的值分布在-1到1之間，便于神經網絡進行處理。

(2)構建單幅圖像去雨的雨紋估計網絡模型，模型包含三路卷積核大小不同的深度密集網絡，能夠在不同的感受野上估計輸入圖像的雨紋分布。

(3)構建單幅圖像去雨的生成模型，模型包含編碼器、轉換器、解碼器三個部分。每一部分都包含多個卷積層/轉置卷積層、激活層、歸一化層等等。

(4)構建單幅圖像去雨的判別模型。該模型包含多個卷積以及下采樣模塊。

(5)構建單幅圖像去雨的圖像細化網絡模型，該模型使用改進的ResBlock作為主體結構，能夠在不顯著增加計算量的情況下進一步消除生成結果中的雨痕殘留。

(6)根據設計的網絡模型設置初始化參數，設計損失函數使其在不斷的訓練過程中取得最小化結果，從而獲得最優的網絡權重。

生成對抗網絡的loss函數設計如下：