[發明專利]一種基于注意力對抗生成網絡的無監督圖像除雨方法

在審

• 申請號: 202110422977.2
• 申請日: 2021-04-17
• 公開（公告）號: CN113191969A
• 公開（公告）日: 2021-07-30
• 發明（設計）人: 王鑫;周冠;李祥;閆鵬飛;郝巖;梁帥;王琪
• 申請（專利權）人: 南京航空航天大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 江蘇圣典律師事務所 32237
• 代理人: 陶得天

1.一種基于注意力對抗生成網絡的無監督圖像除雨方法，其特征在于，按以下步驟進行圖像處理：

步驟1、構建數據集：收集具有信息相關性的類似場景雨圖和清晰圖片作為網絡訓練數據集，并對所有圖片做預處理；

步驟2、搭建卷積神經網絡：構建的卷積神經網絡包括三個子網絡：生成器G、生成器F，判別器D；生成器G輸入源域無雨圖片x和目標域非對應有雨圖像r，輸出生成目標域有雨圖片G(x，r)；生成器F輸入是生成器G生成的有雨圖片G(x，r)和源域無雨圖像x，輸出生成的源域無雨圖片F(G(x，r)，x)；生成器F的生成過程是源域圖片x的重建過程，設計生成器F的重構損失使F(G(x，r)，x′)和源域圖片x相似，這樣一張源域圖片經過G變為目標域圖片，目標域圖片再經過F轉換回源域圖片；G和F為一個互逆的過程，一張圖片依次經過G和F，圖片保持不變；

步驟3、訓練：訓練判別器D，訓練生成器G，訓練生成器F；

步驟4、實際使用：訓練完成后，將生成器F單獨采用，完成輸入有雨圖像完成交叉驗證與測試，得到處理完后無雨圖像。

2.根據權利要求1所述的一種基于注意力對抗生成網絡的無監督圖像除雨方法，其特征在于，步驟2中生成器F詳細參數如下：生成器F由兩個子網絡組成:注意力循環網絡和語義自動編碼器；

注意力循環網絡詳細參如下：將注意力循環網絡的循環參數設定為5，每一次循環中包括殘差網絡、卷積長短期記憶網絡兩個部分，圖像首先進入殘差網絡中，殘差網絡共有9層，第一層是32個具有3*3卷積核大小的濾波器，填充方式為SAME，對四維張量圖做滑步為1的滑動卷積提取特征，第一層卷積后接Leaky-relu激活函數層。之后的八層同樣是32個具有3*3卷積核大小的濾波器，填充方式為SAME，滑步為1的卷積層和Leaky-relu激活函數層；每兩層做一次同等映射。隨后將卷積后的特征圖輸入到卷積長短期記憶網絡中；卷積長短期記憶網絡包含一個輸入門一個輸入門i_t，一個遺忘門f_t，一個輸出門o_t和一個細胞狀態C_t組成。他們在時間維度上的相互關系如下：

其中X_t是由殘差網絡產生的特征圖；C_t對上一個細胞狀態編碼輸入到下一個卷積長短期網絡中；H_t代表的是卷積長短期記憶網絡的輸出；代表的是卷積操作；最后經過卷積長短期網絡輸出的特征圖；

語義自編碼器詳細參數如下：語義自編碼器由上采樣與下采樣兩部分構成；上采樣首先經過四層卷積核為3*3，步長為2的卷積層，濾波器的個數分別為64，128，256，填充方式為SAME，每一層都接Leaky-Relu激活函數層并做實例歸一化的處理。然后經過三層具有256個卷積核為3*3濾波器的空洞卷積，擴張率分別為2，4，8，16。空洞卷積在不通過池化層；不降低分辨率，不引入額外的參數與計算量的情況下增大感受野。之后再經過兩層具有256個卷積核為3*3濾波器的卷積層；下采樣包換2個反卷積層，第一層為128個卷積核為4*4的濾波器做步長為1/2的分步卷積，接著一層平均池化層，并做實例歸一化的處理；然后將上采樣第二層輸出與此層輸出合并成下一層輸入。第二層為64個卷積核為4*4的濾波器做步長為1/2的分步卷積，隨后接一層平均化層并做實例歸一化；然后將上采樣第一層輸出與此層輸出合并成下一層輸入；在經歷完上下采樣后最后通過一個具有3個3*3卷積核的濾波器，且步長為1的卷積層作為F生成器的輸出。

3.根據權利要求1所述的一種基于注意力對抗生成網絡的無監督圖像除雨方法，其特征在于，步驟2中生成器G的詳細參數如下：生成器G與F的差異體現在注意力機制，生成器G的輸入是源域無雨圖像和并非相對應的目標域有雨圖像，為生成器G與判別器D提供成對的數據集，使整個除雨網絡實現無監督學習；相較于生成器F生成器G去除了卷積長短期記憶網絡，也去除了注意力機制。

4.根據權利要求1所述的一種基于注意力對抗生成網絡的無監督圖像除雨方法，其特征在于，判別器D的詳細參數如下：首先是7個卷積層，每個卷積層卷積核模板大小都為5*5，步長都為1，激活函數都為Leakey-ReLU，從最后三個卷積層提取特征并進行對應元素相乘生成注意力圖。