[發明專利]基于對抗學習的單幅圖像去雨方法及系統

在審

• 申請號: 202210763079.8
• 申請日: 2022-06-30
• 公開（公告）號: CN115131244A
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 李彬;馮富祥;張友梅
• 申請（專利權）人: 齊魯工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 李琳

本發明屬于計算機視覺領域，提供了一種基于對抗學習的單幅圖像去雨方法及系統，該方法包括獲取待去雨圖像；基于待去雨圖像和訓練后的去雨網絡進行圖像去雨，得到去雨圖像；所述去雨網絡的構建過程包括：將待去雨圖像經過下采樣后壓縮圖像的維數，將降維后的待去雨圖像經過嵌入弱實例標準化的殘差塊的特征轉換模塊執行圖像去雨得到去雨圖像，經過上采樣后放大圖像維數，并將去雨圖像和待去雨圖像進行特征融合得到去雨圖像，解決了圖像去雨中細節難以重建的問題。

技術領域

本發明屬于計算機視覺領域，尤其涉及基于對抗學習的單幅圖像去雨方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

在復雜的雨天下捕捉到的圖片經常會受到雨滴的干擾，從而降低可見度，尤其是在大雨天，各個方向的雨水會導致背景變得朦朧，降低了圖像的視覺效果，嚴重干擾了許多計算機視覺應用的工作，如影響目標檢測、圖像分割等任務的準確性，對圖像去除雨水(Image Deraining)，并且恢復原始圖像的細節具有重要的實際意義。但是由于雨水對原圖的空間布局破壞較大，并且雨水的紋路是多樣復雜的，傳統對抗學習中的生成網絡并不能很好地保留圖像的細節，很難將圖片的細節進行有效地重建，因此圖像在特征轉換過程中可能會丟失部分語義信息(如圖片的紋理特征、圖片的整體風格等)。

發明內容

為了解決上述背景技術中存在的至少一項技術問題，本發明提供基于對抗學習的單幅圖像去雨方法及系統，其為了解決圖像去雨中細節難以重建的問題，設計了特征融合模塊，將下采樣前的特征與上采樣后的特征加以合并，通過讓網絡在上采樣的過程中參考原始圖像的空間細節，從而更好地提升模型重建細節的能力。

為了實現上述目的，本發明采用如下技術方案：

本發明的第一個方面提供基于對抗學習的單幅圖像去雨方法，包括如下步驟：

獲取待去雨圖像；

基于待去雨圖像和訓練后的去雨網絡進行圖像去雨，得到去雨圖像；

所述去雨網絡的構建過程包括：

將待去雨圖像經過下采樣后壓縮圖像的維數，將降維后的待去雨圖像經過嵌入弱實例標準化的殘差塊的特征轉換模塊執行圖像去雨得到去雨圖像，經過上采樣后放大圖像維數，并將去雨圖像和待去雨圖像進行特征融合得到去雨圖像。

本發明的第二個方面提供基于對抗學習的單幅圖像去雨系統，包括：

待去雨圖像獲取模塊，用于獲取待去雨圖像；

去雨模塊，用于基于待去雨圖像和訓練后的去雨網絡進行圖像去雨，得到去雨圖像；

所述去雨網絡的構建過程包括：

將待去雨圖像經過下采樣后壓縮圖像的維數，將降維后的待去雨圖像經過嵌入弱實例標準化的殘差塊的特征轉換模塊執行圖像去雨得到去雨圖像，經過上采樣后放大圖像維數，并將去雨圖像和待去雨圖像進行特征融合得到去雨圖像。

本發明的第三個方面提供一種計算機可讀存儲介質。

一種計算機可讀存儲介質，其上存儲有計算機程序，該程序被處理器執行時實現如上述所述的基于對抗學習的單幅圖像去雨方法中的步驟。

本發明的第四個方面提供一種計算機設備。

一種計算機設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現如上述所述的基于對抗學習的單幅圖像去雨方法中的步驟。

與現有技術相比，本發明的有益效果是：