[發明專利]一種基于傅里葉先驗的圖像去雨方法

在審

• 申請號: 202210630569.0
• 申請日: 2022-06-06
• 公開（公告）號: CN115205136A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 傅雪陽;查正軍;郭鑫
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/774;G06V10/82;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于傅里葉先驗的圖像去雨方法，其步驟包括：1獲取有雨圖像數據和對應的干凈圖像數據；2構建傅里葉幅度域去雨模塊，對有雨圖像進行第一階段去雨；3利用帶雨圖像的傅里葉相位信息和第一階段去雨結果的傅里葉幅度信息進行重構，得到第二階段的輸入圖像；4構建傅里葉相位域結構細化模塊，進行第二階段去雨。本發明能夠利用雨圖的傅里葉幅度域和相位域的性質，用于圖像去雨，從而有效提高去雨效果以及泛化能力。

技術領域

本發明涉及圖像去雨領域，具體說的是一種基于傅里葉先驗的圖像去雨方法。

背景技術

人類獲取信息的80％來自于視覺系統，視覺信息一直是人類感知外界重要組成部分。而各種視覺任務已經得到廣泛應用，諸如行人重識別，目標檢測等。在各種視覺任務當中，圖像往往是最基本的輸入數據形式，但大部分算法都是在高質圖像上訓練獲取相應參數，導致模型在低質圖像上的泛化性降低。例如，在發生車禍事故時，如果肇事車輛在逃天氣為大雨條件，對于一般的車輛識別模型，就無法獲得真正的有效信息，而肉眼也無法根據圖片進行有效甄別。因此，研究有效的圖像復原技術能夠為面向實際應用的圖像處理和計算機視覺研究提供技術支撐，對實現智能視覺系統在真實復雜環境下的高度適應性具有重要意義。

在圖像去雨技術發展之初，研究人員主要采用人工設計的先驗知識，對降質過程進行建模，然后根據模型進行算法設計。這種方法具備較強的泛化能力，但是在雨較大的圖像上，因為雨本身的復雜性，無法較好復原。同時大部分基于先驗建模的方法都是使用迭代演算，耗時很長，無法進行實時使用。近年來，由于深度神經網絡卓越的擬合能力，越來越多的研究工作通過人工合成大量配對的有雨/無雨圖像對，并采用監督學習策略，從數據中學習出有雨圖像到相應無雨圖像的映射過程。數據驅動的方式可以通過大量的數據，對于不同條件下雨帶的空間特征學習映射規則。但是深度學習的過擬合問題會導致，在不同數據集上訓練的模型在另一個數據集上無法達到相應的去雨能力，泛化性較差。因此將物理先驗知識與深度神經網絡結合是有必要的。在不同的數據集上雨帶信息會有著巨大的域偏差，而不同雨帶之間會共享相同的物理特性，如果對不同雨帶的物理特征進行分析，并將這些特征融合進圖像恢復過程，不僅可以幫助提升圖像復原性能，還可以提升在不同數據集上的泛化性。而由于雨帶信息自身具備相同的物理特征，與背景自然圖像截然不同，在特定的頻率上存在集中體現，因此在頻域也可以進行有效的過濾。如經典的去噪任務，在初期都是在頻域進行處理。由此啟發發現，雨圖在傅里葉頻域，存在一致的物理特性。雨的降質主要集中在傅里葉幅度域，同時雨圖的相位域基本和干凈圖片一致。這一物理特性廣泛存在在各個數據集上，我們稱這種物理特性為雨圖的傅里葉先驗。

發明內容

本發明為了克服現有方法的不足之處，提供一種基于傅里葉先驗的圖像去雨方法，以期能利用雨圖的傅里葉幅度域和相位域的性質，在不同情景的有雨圖像上達到更好的去雨性能，從而有效提高去雨效果。

本發明為解決上述技術問題，采用如下技術方案：

本發明一種基于傅里葉先驗的圖像去雨方法的特點是按如下步驟進行：

步驟1獲取用于訓練的有雨和無雨圖像對數據集：

獲取有雨圖像數據集，記為X_rain＝{x_{rain_1}，x_{rain_2}，...，x_{rain_i}，...，x_{rain_N}}，其中，x_{rαin_i}表示第i張有雨圖像，i＝1，2，...，N，N為有雨圖像的數量；

獲取與有雨圖像一一對應的無雨圖像集，記為X_clean＝{x_{clean_1}，x_{clean_2}，...，x_{clean_i}，...，x_{clean_N}}，其中，x_{clean_i}表示第i張無雨圖像；