[發明專利]一種基于注意力生成對抗網絡的圖像去雨滴方法

在審

• 申請號: 202111055875.8
• 申請日: 2021-09-09
• 公開（公告）號: CN114119382A
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 胡海根;張宏;鄭薇
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 忻明年

本發明公開了一種基于注意力生成對抗網絡的圖像去雨滴方法，將待去雨滴的原始帶雨滴圖像輸入到注意力循環網絡獲得注意力圖，所述注意力循環網絡包括多個子網絡，首個子網絡的輸入為原始帶雨滴圖像與初始注意力圖的拼接結果，前一個子網絡的輸出與原始帶雨滴圖像進行拼接后輸入到下一個子網絡，每個子網絡包括殘差層、長短時記憶網絡層和卷積神經網絡層；然后將原始帶雨滴圖像和注意力圖輸入到上下文自動編碼器，生成去雨滴之后的圖像。本發明技術方案在圖像雨滴較少、雨滴造成圖像模糊以及圖像雨滴密集等情況下，都能達到較好去雨滴效果。

技術領域

本申請屬于計算機視覺技術領域，尤其涉及一種基于注意力生成對抗網絡的圖像去雨滴方法。

背景技術

隨著計算機視覺、人工智能、機器學習等領域技術的持續發展及應用，人們越來越期望通過無人系統代替人類進行一些活動。無人駕駛作為其中之一，其市場需求非常廣泛，例如港口貨運或乘用車駕駛等等。近年來隨著需求的推動，自動駕駛汽車領域取得很多技術突破，同時吸引更多投資以及科技力量的投入其中，使其成為一個朝氣蓬勃的新興技術領域。

但是無人駕駛仍舊存在著許多問題，例如：無人駕駛安全事故，其中拍攝路況圖片及視頻的質量不高使系統誤判是一大緣由。無人駕駛系統在不同環境條件下拍攝出清晰圖片無疑成為了提高安全性的一大需求。

傳統的去雨滴方法已經不能夠滿足當代社會的需求，存在著只能識別雨滴區域不能去除雨滴效果，或是只能處理小雨滴不能處理大量密集雨滴，又或是去雨滴效果不好等問題。

發明內容

本申請的目的是提供一種基于注意力生成對抗網絡的圖像去雨滴方法，以提高去除雨滴的效果。為更好地提升無人駕駛系統的識別準確率及安全性，需要克服拍攝圖像(視頻)帶有雨滴、灰塵致使圖片模糊識別率不高的問題，本申請提供基于注意力生成對抗網絡的圖像去雨滴方法，以達到極好地去除圖像雨滴，恢復圖像本身的清晰度的目的，達到提升無人駕駛系統安全性的最終效果。

為了實現上述目的，本申請技術方案如下：

一種基于注意力生成對抗網絡的圖像去雨滴方法，包括：

將待去雨滴的原始帶雨滴圖像輸入到注意力循環網絡獲得注意力圖，所述注意力循環網絡包括多個子網絡，首個子網絡的輸入為原始帶雨滴圖像與初始注意力圖的拼接結果，前一個子網絡的輸出與原始帶雨滴圖像進行拼接后輸入到下一個子網絡，每個子網絡包括殘差層、長短時記憶網絡層和卷積神經網絡層；

將原始帶雨滴圖像和注意力圖輸入到上下文自動編碼器，生成去雨滴之后的圖像。

進一步的，所述殘差層包括五個殘差塊，第一個殘差塊是通過32個3*3大小的卷積核進行卷積操作，并對卷積結果進行LReLU非線性激活函數運算；第二至第五個殘差塊，每個殘差塊依次進行兩個conv1-32+LReLU操作，然后將輸出結果與輸入數據再次進行LReLU非線性激活函數運算。

進一步的，所述上下文自動編碼器，依次進行16個conv+LReLU操作，其中：

第13和第15個conv+LReLU操作還包含反卷積操作；

第7、第8、第9和第10個conv+LReLU操作還包含空洞卷積操作；

第13和第15個conv+LReLU操作還包含平均池化操作；

并且，第1個conv+LReLU操作與第16個conv+LReLU操作進行跳躍連接，第3個conv+LReLU操作與第14個conv+LReLU操作進行跳躍連接，第5個conv+LReLU操作與第12個conv+LReLU操作進行跳躍連接。