[發明專利]基于卷積神經網絡雙分支注意力生成的單幅圖像去雨方法

有效

• 申請號: 202010863062.0
• 申請日: 2020-08-25
• 公開（公告）號: CN112070690B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 石爭浩;高蒙蒙
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0455;G06N3/0464;G06N3/084
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 寧文濤

本發明公開了基于卷積神經網絡雙分支注意力生成的單幅圖像去雨方法，包括：對輸入圖像預處理；構建U型結構網絡；將權重通道注意力添加至第一個U型網絡中，得到添加后的第一個U型網絡；將空間注意力和通道注意力添加至第二個U型結構網絡中，得到添加后的第二個U型網絡；采用經添加后的第一個U型網絡處理得到的處理圖像a、經添加后的第二個U型網絡處理得到處理圖像b與預處理后的圖像進行相加的操作，經過卷積，得到卷積神經網絡模型；將預處理后圖像對卷積神經網絡模型進行訓練，利用損失函數進行約束，得到訓練好的去雨網絡模型；將待處理有雨的圖像放入訓練好的去雨網絡模型中，最終輸出去雨后的圖像，提高單幅圖像去雨的性能。

技術領域

本發明屬于圖像處理技術領域，涉及一種基于卷積神經網絡雙分支注意力生成的單幅圖像去雨方法。

背景技術

隨著科學技術的迅猛發展，人類社會正在進入信息化社會，計算機的應用日益廣泛，圖像處理技術對各領域的發展越來越重要。計算機視覺在機器人、國防航空、機器視覺自動化領域已經成為關鍵技術。同時在監控影像、輔助駕駛中央控制系統，交通網關等場景下也起到了重要作用。隨著圖像處理技術和計算機視覺技術的快速發展，使得越來越多的計算機視覺系統應用于眾多的科學和工程領域。但是隨著視覺系統在戶外的廣泛應用，不可避免碰到惡劣天氣使其所拍攝圖像的視覺效果和數據質量下降。

計算機視覺系統容易受到戶外惡劣天氣的影響。主要表現為惡劣天氣獲取的圖像會產生干擾和降質，導致計算機視覺處理算法的性能下降，例如目標跟蹤，目標檢測，圖片檢索等等。同時，惡劣天氣對人類的視覺也存在巨大的挑戰，例如，雨霧天氣中駕駛，能見度低和下落的雨滴對人眼的干擾，都嚴重的影響了肉眼的觀察，容易造成交通事故；還有在雪天中對滑雪比賽的報道，下落的雪對解說員的報道也會造成一定的干擾；惡劣天氣對拍攝電影也會造成影響，導演可能由于天氣變化原因要重新翻拍電影的一些片斷等等。

惡劣天氣條件存在許多不同的類型，如霧，沙塵，雨，雪等?；诋a生的視覺效果不同，惡劣天氣一般分為兩類:靜態(如霧，霾)和動態(如雨，雪)。靜態天氣圖像復原主要是提高圖像清晰度，而動態天氣圖像復原主要是去除對目標的干擾，恢復出真實的背景信息。在各種復雜的天氣條件下，雨天的視覺效果較為復雜，且變化多端，大雨、中雨、小雨等產生的效果不盡相同。例如在中小雨情況下，視頻圖像中的雨滴會比較小，而在大雨甚至暴雨情況下，由于其密度大，降落速度快，雨滴就可能會形成雨線，甚至連成一片，整個圖像畫面變得完全不可見。所以雨滴附著在圖像上會非常明顯地影響圖像的視覺效果和圖像質量，這會間接影響到整個計算機視覺系統的性能。

發明內容

本發明的目的是提供一種基于卷積神經網絡雙分支注意力生成的單幅圖像去雨方法，能夠提高單幅圖像去雨的性能。

本發明所采用的技術方案是，一種基于卷積神經網絡雙分支注意力生成的單幅圖像去雨方法，具體按照如下步驟實施：

步驟1，對輸入的圖像進行預處理，得到輸入圖像數據集；

步驟2，構建一個具有上下分支結構的U型結構編碼器/解碼器網絡，分別記為第一個U型編碼器/解碼器網絡和第二個U型編碼器/解碼器網絡；

步驟3，將權重通道注意力機制添加至步驟2中第一個U型編碼器/解碼器網絡的前三個下采樣中，得到三個尺度編碼器下采樣的特征，然后對得到的下采樣特征與對應上采樣得到同樣大小和通道數的結果通過殘差塊的形式進行特征融合，得到添加后的第一個U型編碼器/解碼器網絡；

步驟4，將空間注意力和通道注意力機制添加至步驟2中第二個U型結構編碼器/解碼器網絡的最后一個下采樣后和第一個上采樣之間，通過跳躍連接結構結合，進行上采樣，得到添加后的第二個U型編碼器/解碼器網絡；