[發明專利]一種基于注意力生成對抗網絡的圖像去雨滴方法

在審

• 申請號: 202111055875.8
• 申請日: 2021-09-09
• 公開（公告）號: CN114119382A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 胡海根;張宏;鄭薇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 忻明年

1.一種基于注意力生成對抗網絡的圖像去雨滴方法，其特征在于，所述基于注意力生成對抗網絡的圖像去雨滴方法，包括：

將待去雨滴的原始帶雨滴圖像輸入到注意力循環網絡獲得注意力圖，所述注意力循環網絡包括多個子網絡，首個子網絡的輸入為原始帶雨滴圖像與初始注意力圖的拼接結果，前一個子網絡的輸出與原始帶雨滴圖像進行拼接后輸入到下一個子網絡，每個子網絡包括殘差層、長短時記憶網絡層和卷積神經網絡層；

將原始帶雨滴圖像和注意力圖輸入到上下文自動編碼器，生成去雨滴之后的圖像。

2.根據權利要求1所述的基于注意力生成對抗網絡的圖像去雨滴方法，其特征在于，所述殘差層包括五個殘差塊，第一個殘差塊是通過32個3*3大小的卷積核進行卷積操作，并對卷積結果進行LReLU非線性激活函數運算；第二至第五個殘差塊，每個殘差塊依次進行兩個conv1-32+LReLU操作，然后將輸出結果與輸入數據再次進行LReLU非線性激活函數運算。

3.根據權利要求1所述的基于注意力生成對抗網絡的圖像去雨滴方法，其特征在于，所述上下文自動編碼器，依次進行16個conv+LReLU操作，其中：

第13和第15個conv+LReLU操作還包含反卷積操作；

第7、第8、第9和第10個conv+LReLU操作還包含空洞卷積操作；

第13和第15個conv+LReLU操作還包含平均池化操作；

并且，第1個conv+LReLU操作與第16個conv+LReLU操作進行跳躍連接，第3個conv+LReLU操作與第14個conv+LReLU操作進行跳躍連接，第5個conv+LReLU操作與第12個conv+LReLU操作進行跳躍連接。

4.根據權利要求3所述的基于注意力生成對抗網絡的圖像去雨滴方法，其特征在于，所述上下文自動編碼器，16個conv+LReLU操作中，卷積核大小和數目分別是conv5-64、conv3-128、conv3-128、conv3-128、conv3-256、conv3-256、conv3-256、conv3-256、conv3-256、conv3-256、conv3-256、conv3-256、conv4-128、conv3-128、conv4-64、conv3-32。

5.根據權利要求1所述的基于注意力生成對抗網絡的圖像去雨滴方法，其特征在于，所述基于注意力生成對抗網絡的圖像去雨滴方法，還包括：

在訓練所述注意力循環網絡和上下文自動編碼器時，還引入了判別網絡，所述判別網絡的輸入為所述上下文自動編碼器輸出的去雨滴之后的圖像，用于判斷圖像的真假性，在判斷出圖像的真假性后，利用構建的損失函數來調整網絡參數。

6.根據權利要求5所述的基于注意力生成對抗網絡的圖像去雨滴方法，其特征在于，所述判別網絡，包括：

依次進行六個conv+LReLU操作提取內層特征，然后再經過一個CNN卷積操作，將CNN卷積的輸出乘以所述內層特征后，再經過兩個conv+LReLU操作再次提取特征后通過一個全連接層操作后輸出。