[發明專利]子帶網絡橋接的半監督圖像去雨方法及裝置

有效

• 申請號: 202110088761.7
• 申請日: 2021-01-22
• 公開（公告）號: CN112785523B
• 公開（公告）日: 2023-10-17
• 發明（設計）人: 劉家瑛;楊文瀚;胡煜章;郭宗明
• 申請（專利權）人: 北京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/774;G06N3/0464
• 代理公司: 北京君尚知識產權代理有限公司 11200
• 代理人: 余長江

本發明公開了一種子帶網絡橋接的半監督圖像去雨方法及裝置，通過深度學習來進行雨天圖像的半監督學習，提出了一種遞歸頻帶表示來連接無監督和全監督框架。本文提取出一系列由粗到精的頻帶表示，并通過遞歸的端到端學習進行增強，進行雨痕去除和細節修正。在感知質量引導的對抗學習下，使用深度頻帶表示進行重構，生成最終的復原結果。本發明提取出一系列由粗到精的頻帶表示，并通過遞歸的端到端學習進行增強，進行雨痕去除和細節修正，提出了一種遞歸頻帶表示來連接無監督和全監督框架。

技術領域

本發明屬于圖像處理、增強領域，尤其涉及一種子帶網絡橋接的半監督圖像去雨方法及裝置。

背景技術

深度學習去雨時代始于2017年。Yang等人構建一個聯合雨痕檢測和去除的網絡，可以處理大雨，重疊的雨痕和雨霧。該網絡可以通過預測二元掩模來檢測雨水的位置，并采用遞歸框架來去除雨痕，逐步清除雨霧。該方法在下大雨的情況下取得了良好的效果。但是，方法可能會錯誤地去除垂直紋理并造成曝光不足。

同年，Fu等人嘗試通過構建深層細節網絡去除雨痕。該網絡僅將高頻細節作為輸入，并預測雨痕和干凈的無雨圖像。該工作表明，移除網絡輸入中的背景信息有利于網絡訓練。

繼Yang和Fu等人的工作，在后續工作中，許多基于卷積神經網絡的方法被提出。這些方法采用了更高級的網絡結構，并嵌入了與雨相關的新先驗，在定量和定性分析中都取得了更好的結果。但是，由于這些方法受全監督學習范式的局限(即使用合成雨圖)，在處理訓練過程中從未見過的真實降雨場景時，可能會失效。

發明內容

針對上述問題和相關方法的不足，本發明提出了一種子帶網絡橋接的半監督圖像去雨方法及裝置。整體框架如圖1所示，該方法構建了一種有效的特征表征——基于學習的子帶表示，連接監督學習和非監督學習，實現高效的深度學習半監督去雨。模型的監督學習部分充分利用成對數據和基于信號保真度的損失度量，學習雨痕去除與細節修正過程。半監督學習部分則利用非成對數據和對抗學習，學習圖像質量增強過程，提升圖像的能見度和舒適度。

本發明采用的技術方案包括以下步驟：

一種子帶網絡橋接的半監督圖像去雨方法，其步驟包括：

1)基于若干樣本無雨圖像及生成的雨痕與雨霧，生成若干雨天圖像y，構建成對圖像數據集，并搜集不同質量的樣本圖像，獲取各樣本圖像的圖像質量標簽，構建非成對圖像質量數據集；

2)構建圖像去雨模型，并利用成對圖像數據集與非成對圖像質量數據集對圖像去雨模型進行訓練，得到訓練后的圖像去雨模型；

其中圖像去雨模型包括一個用以學習雨天圖像y或復原圖像中子帶信號的迭代子帶學習網絡與一個用以對子帶信號進行重組生成復原圖像的迭代子帶重建網絡；利用成對圖像數據集對迭代子帶學習網絡進行訓練，利用成對圖像數據集與訓練后的質量評估網絡對迭代子帶重建網絡進行訓練；

通過以下策略構建迭代子帶學習網絡：

A)構建若干類似U-Net的深層網絡，作為子網絡；

B)每個子網絡以雨天圖像y與上一次循環的復原結果級聯作為輸入，并將雨天圖像y與復原結果級聯映射到特征空間，然后通過若干卷積層進行特征變換；

C)在中間層中，首先通過有步長的卷積和反卷積對特征的空間分辨率進行下采樣，然后再上采樣；

D)使用跳躍連接將各子網絡相同空間分辨率的淺層與深層特征連接；

通過以下策略構建迭代子帶重建網絡：

a)構建若干類似U-Net的深層網絡，作為子網絡；

b)使用跳躍連接將各子網絡相同空間分辨率的淺層與深層特征連接；