[發明專利]一種基于多尺度和非局部的輕量去雨方法

有效

• 申請號: 202011102598.7
• 申請日: 2020-10-15
• 公開（公告）號: CN112241939B
• 公開（公告）日: 2023-05-30
• 發明（設計）人: 龐彥偉;張雪巖
• 申請（專利權）人: 天津大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/0464;G06N3/084;G06T5/50
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于多尺度和非局部的輕量去雨方法，所述方法包括：構建由初始模塊和ConvLSTM模塊組成的粗融合網絡；構建由基于縱橫交錯關注技術的特征提取模塊和重構模塊組成的精融合網絡；通過有雨圖像數據庫訓練粗融合網絡和精融合網絡，使用均方差誤差損失和感知損失對預測出的去雨圖像計算損失值；利用反向傳播機制更新網絡參數，獲取基于多尺度和非局部的輕量去雨模型，基于輕量去雨模型對有雨圖像進行處理。本發明通過構建多尺度特征金字塔結構和ConvLSTM模塊實現雨線特征信息的粗提取和融合；同時利用基于縱橫交錯關注技術的特征提取模塊從遠程依賴中捕獲上下文信息，使得殘差圖像R更為高效和準確地生成，以取得高質量的去雨圖像。

技術領域

本發明涉及深度學習和計算機視覺領域，尤其涉及一種基于多尺度和非局部的輕量去雨方法。

背景技術

陰雨天是最為常見的惡劣天氣，其中復雜多變的雨線會使攝像機所捕獲的圖像受到不同程度地降質，從而導致視覺效果下降。此外，降質的圖像將大大降低計算機視覺任務的性能，例如基于圖像的物體分類，檢測和分割。目前，去雨的方法大致可分成兩類：一類是基于字典學習和稀疏編碼的傳統方法；另一類是深度學習方法。與深度學習方法相比，傳統方法所獲得的去雨圖像更為平滑和模糊，導致去雨圖像質量不佳。在圖像去雨這一領域中，深度學習方法逐漸普及開來，并且具有十分廣闊的前景。在惡劣天氣下，攝像機拍攝的圖像質量很差，進而嚴重影響真實場景的應用，例如：無人駕駛和安防監控等。因此，在惡劣天氣條件下恢復高質量的去雨圖像尤其重要。

現有的去雨算法主要依據一種線性疊加模型^[1,2]對圖像進行建模：

Y＝X+R???????????????????(1)

其中，Y表示有雨圖像，X表示無雨圖像，R表示殘差圖像(雨線分量)。

目前，采用深度學習的單圖像去雨算法大都通過設計不同的網絡結構，并采用監督學習的方法將人工合成的有雨圖像Y和無雨圖像X作為訓練集，利用反向傳播機制更新網絡參數，使網絡自行端到端地學習出從有雨圖像Y到無雨圖像X的復雜函數關系。2017年，Fu等人^[3]第一次成功地利用深度學習方法實現單圖像去雨。隨后，Fu等人^[4]受到深度殘差網絡的啟發，提出了深度細節網絡并進一步提升了去雨圖像的質量。為了進一步提升去雨圖像的質量，Li等人^[5]提出了基于非局部思想的單圖像去雨網絡結構，也取得了不錯的成果。

上述基于深度學習的單圖像去雨算法，雖然能夠去除大部分的雨線，但因為沒有考慮到有雨圖像中不同雨線之間的相似性特征，從而導致去雨圖像的質量不高。此外，現有的采用傳統非局部方法的去雨算法計算量較大，導致整個去雨過程耗時較長。

參考文獻：

[1]Kang?L?W,Lin?C?W,Fu?Y?H.Automatic?Single-Image-Based?Rain?StreaksRemoval?via?Image?Decomposition[J].IEEE?Transactions?on?Image?Processing,2012,21(4):1742-1755.

[2]Chen?Y?L,Hsu?C?T.A?Generalized?Low-Rank?Appearance?Model?forSpatio-temporally?Correlated?Rain?Streaks[C]//Proceedings?ofthe?2013IEEEInternational?Conference?on?Computer?Vision.Sydney,Australia,2013:1968-1975.