[發明專利]基于注意力機制的殘差單幅圖像去雨方法

有效

• 申請號: 202110244785.7
• 申請日: 2021-03-05
• 公開（公告）號: CN112907479B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 吳煒;汪萍
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/0455;G06F3/048;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 侯瓊;王品華

本發明公開了一種基于注意力機制的殘差單幅圖像去雨方法，主要解決現有單幅圖像去雨技術存在局限性、處理效果不理想的問題。其方案包括：1)對輸入圖像進行預處理，得到預處理后圖像；2)構建包括殘差網絡模塊和編解碼器網絡模塊的注意力殘差神經網絡模型；3)將預處理后圖像輸入注意力殘差神經網絡模型進行訓練，利用損失函數對注意力殘差神經網絡模型進行約束，然后反向傳播進行參數更新，得到訓練好的去雨神經網絡模型；4)將待處理的有雨圖像輸入去雨神經網絡模型中進行圖像處理，得到無雨清晰圖像。本發明能夠有效去除單幅含雨圖像中的雨紋，得到清晰圖像；同時，對于原圖中的背景信息實現充分保留。

技術領域

本發明屬于圖像處理技術領域，具體涉及一種基于注意力機制的殘差單幅圖像去雨方法，可用于單幅圖像的清晰化處理。

背景技術

視覺作為人類最重要的感知系統之一，是我們獲得知識的主要來源。隨著圖片和視頻在互聯網時代傳播越來越豐富，圖像成為了我們生活的重要組成部分。因此，計算機視覺在當今時代的背景下是一門非常重要學科，它是我們生活中各領域的一個重要組成部分，如制造業，軍事工業和各種智能系統領域。

在惡劣天氣的環境下，人們拍攝到的圖片或者視頻中常常會因為雨、雪、霧而受到干擾、變得模糊。獲取到的圖片或視頻信息有不同程度上的損壞，甚至圖片的主體也會受到嚴重的干擾。變化多端的天氣主要包括雨雪，煙霧和沙塵。相對于煙霧和沙塵，雨水是一種更加無序的圖片噪聲，它時刻變化而且還會隨著雨勢的大小對圖片造成不同影響。例如小雨會造成圖片某些區域有亮白色的雨線，而大雨則會對整張圖像產生遮擋或嚴重模糊的影響。所以，針對雨水的去除工作是圖像去噪、圖像修復領域中難度較高的一項工作。

雨水屬于動態天氣——由于它的組成顆粒相對較大，相機可以很容易地捕捉到它。由于在戶外視覺系統中引入了非預期的視覺偽影，會對后續的圖像匹配等計算機視覺任務產生不利影響。雨滴通常會在圖像上產生密集的條紋，這些條紋具有不可預測性，如方向、降雨強度、不均勻的降雨密度等。因此，由這些密集條紋引起的復雜像素變化和附加梯度會掩蓋圖像中傳遞的有利信息，阻礙可靠特征的有效檢測。

然而，雨水作為我們生活中最為常見的自然現象，發生頻率非常高，特別在南方梅雨季節，會有連續的降雨發生。由此可見，對于圖像去雨的研究非常具有現實意義。

近年來，圖像去雨任務關注度極高，總的來說圖像去雨的任務可大致可分為兩類：1)基于視頻的方法和2)基于單幅圖像的方法。

陳軍在其申請的專利“一種基于多尺度混合指數模型的視頻去雨方法”(申請號：CN201910298090.X，公開號：CN110070506A)中公開了一種基于多尺度混合指數模型的視頻去雨方法。通過建立單一尺度下的雨視頻統計模型，對其優化獲取去雨視頻，再進一步對各個尺度的去雨視頻采用金字塔分解重構，加和平均得到最終結果；針對靜止攝像機所拍攝的視頻，采用該方法可以有效去除雨水條紋，然而，對于由移動攝像機所拍攝的視頻，該方法具有很大局限性，并不適用。

丁興號在其申請的專利“基于卷積神經網絡的單幅圖像去雨方法”(申請號：CN201610592134.6，公開號：CN106204499A)中公開了一種基于卷積神經網絡的單幅圖像去雨方法，該方法通過screen?blend?model對干凈的清晰圖像人工加雨，建立圖像庫；接著從圖像庫中取出有雨無雨圖像塊對，將其作為訓練樣本進行網絡訓練；最后對單幅有雨圖像重疊地取塊，輸入訓練好的去雨濾波系統中，獲取相應的無雨圖像塊并加權平均，得到無雨圖像。該方法的不足之處在于設計的卷積神經網絡結構過于簡單，并不能達到較好的去除效果。

發明內容