[發明專利]一種基于注意力對抗生成網絡的無監督圖像除雨方法

在審

• 申請號: 202110422977.2
• 申請日: 2021-04-17
• 公開（公告）號: CN113191969A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王鑫;周冠;李祥;閆鵬飛;郝巖;梁帥;王琪
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 陶得天

本發明公開了一種基于注意力對抗生成網絡的無監督圖像除雨方法，涉及計算機視覺領域，主要涉及是一種可以進行無監督學習并且能夠提高圖片除雨效果的神經網絡模型。可有效克服在生成對抗網絡訓練時所要求成對數據獲取困難的問題，并引入了注意力機制，使得網絡在處理圖像時聚焦于有雨區域，輸出更為理想無雨圖像。步驟1、構建數據集；步驟2、搭建卷積神經網絡；步驟3、訓練；步驟4、實際使用。采用一個判別器代替原循環對抗生成網絡的兩個判別器，將網絡精簡且減少計算量，提高判別器的判別能力，進而提升生成器的圖像恢復能力。使得網絡在處理圖像時聚焦于有雨區域，輸出更為理想無雨圖像。

技術領域

本發明涉及計算機視覺領域，主要涉及是一種可以進行無監督學習并且能夠提高圖片除雨效果的神經網絡模型，經過網絡模型處理后的圖像可見度得到顯著提升。主要應用于圖像風格轉換和自動駕駛目標識別的數據增強等方面。

背景技術

雨水會導致捕獲的圖像和視頻的視覺質量下降。雨水條紋(尤其是在大雨中)會對背景造成嚴重的遮擋。雨水堆積會導致無法單獨看到遠處的雨水條紋，并且與水顆粒一起在背景上形成一層面紗，這大大降低了背景的對比度和可見度。人類視覺和許多計算機視覺算法都遭受這種圖像損壞的困擾，因為常見的計算機算法假定天氣晴朗，不會單獨考慮雨水條紋和雨水堆積的干擾。但在實際應用工況下，雨天是尤為常見的的一種天氣狀況，因此，提高有雨圖像的質量對于后續圖像的應用非常必要。

傳統的除雨方法使用簡單的線性映射轉換，對輸入的變化沒有魯棒性。雨水又具有不同的方向，密度和大小會導致傳統的方法無法達到理想效果。近年來，基于深度學習的卷積層和非線性層的方法比傳統方法具有明顯的優勢。這些方法在特征表示和處理效果都有了較大的提高。對于輸入的變化有了更高的魯棒性。但是神經網絡的訓練依托于大量的數據，并且絕大多數的網絡需要輸入相互匹配的同場景有雨與清晰圖像樣本對，這對數據集的構建增加了難度。

發明內容

本發明針對以上問題，提出了一種引入注意力機制的對抗生成網絡無監督除雨方法，可有效克服在生成對抗網絡訓練時所要求成對數據獲取困難的問題，并引入了注意力機制，使得網絡在處理圖像時聚焦于有雨區域，輸出更為理想無雨圖像。

本發明的技術方案為：按以下步驟進行圖像處理：

步驟1、構建數據集：收集具有信息相關性的類似場景雨圖和清晰圖片作為網絡訓練數據集，并對所有圖片做預處理；

步驟2、搭建卷積神經網絡：構建的卷積神經網絡包括三個子網絡：生成器G、生成器F，判別器D；生成器G輸入源域無雨圖片x和目標域非對應有雨圖像r，輸出生成目標域有雨圖片G(x，r)；生成器F輸入是生成器G生成的有雨圖片G(x，r)和源域無雨圖像x，輸出生成的源域無雨圖片F(G(x，r)，x)；生成器F的生成過程是源域圖片x的重建過程，設計生成器F的重構損失使F(G(x，r)，x′)和源域圖片x相似，這樣一張源域圖片經過G變為目標域圖片，目標域圖片再經過F轉換回源域圖片；G和F為一個互逆的過程，一張圖片依次經過G和F，圖片保持不變；

步驟3、訓練：訓練判別器D，訓練生成器G，訓練生成器F；

步驟4、實際使用：訓練完成后，將生成器F單獨采用，完成輸入有雨圖像完成交叉驗證與測試，得到處理完后無雨圖像。

步驟2中生成器F詳細參數如下：生成器F由兩個子網絡組成:注意力循環網絡和語義自動編碼器；