[發明專利]基于圖像濾波和CNN的有雨圖像雨條紋去除方法及系統

有效

• 申請號: 202010547529.0
• 申請日: 2020-06-16
• 公開（公告）號: CN111815526B
• 公開（公告）日: 2022-05-10
• 發明（設計）人: 楊越;楊帥盟;桑賢偵;侯顯赫
• 申請（專利權）人: 中國地質大學（武漢）
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04
• 代理公司: 武漢知產時代知識產權代理有限公司 42238
• 代理人: 馬帥

1.一種基于圖像濾波和CNN的有雨圖像雨條紋去除方法，其特征在于，包括以下步驟：

S1、建立雨圖像數據集，使用雨圖像數據集增強方法擴充訓練所述雨圖像數據集，獲取多組圖像對，所述圖像對包括有雨圖像和標簽圖像，根據所述多組圖像對，得到訓練集；

S2、利用所述訓練集來訓練有雨圖像雨條紋去除網絡，所述有雨圖像雨條紋去除網絡包含去雨網絡以及H-G判別網絡；所述有雨圖像通過圖像濾波得到有雨圖像高頻部分，將所述有雨圖像高頻部分輸入去雨網絡得到去雨圖像；

所述去雨網絡為全CNN，包括雨條紋圖像生成網絡、去雨圖像生成網絡和去雨網絡優化；所述雨條紋圖像生成網絡接收所述有雨圖像高頻部分，輸出雨條紋圖像；所述去雨圖像生成網絡接收所述雨條紋圖像和所述有雨圖像，輸出去雨圖像；所述去雨網絡優化通過相應的損失函數對所述雨條紋圖像生成網絡其中的參數進行優化；

所述去雨圖像輸入H-G判別網絡得到判別結果，所述判別結果反饋至所述去雨網絡，對所述去雨網絡進行綜合約束；所述H-G判別網絡為全CNN，包括高頻特征初提取網絡、全局特征初提取網絡和特征融合判別網絡；所述高頻特征初提取網絡使用圖像濾波獲得所述去雨圖像和所述標簽圖像的高頻部分；所述全局特征初提取網絡對所述去雨圖像和所述標簽圖像進行特征的初步提?。凰鎏卣魅诤吓袆e網絡將高頻特征與全局特征進行融合；

S3、將要待處理的有雨圖像輸入訓練好的所述有雨圖像雨條紋去除網絡，實現雨條紋去除。

2.根據權利要求1所述的一種基于圖像濾波和CNN的有雨圖像雨條紋去除方法，其特征在于，步驟S1中所述雨圖像數據集增強方法具體為：選取一定數量的數據集圖片，分別依次讀取有雨圖像和和對應標簽圖像，對其進行左右翻轉、順時針旋轉90度、裁剪和reshape操作將數據集量擴充至4倍，并根據所得到圖像，得到訓練集。

3.根據權利要求1所述的一種基于圖像濾波和CNN的有雨圖像雨條紋去除方法，其特征在于，步驟S2中所述雨條紋圖像生成網絡包括13個卷積層、2個反卷積層、12個Relu激活函數、1個Tanh激活函數和BN層，同時還添加3個跳躍連接增強每層網絡生成的特征圖的上下文關聯性，以生成更加準確的雨條紋圖像。

4.根據權利要求1所述的一種基于圖像濾波和CNN的有雨圖像雨條紋去除方法，其特征在于，步驟S2中所述損失函數具體包括：像素對像素損失、生成對抗網絡的損失、以及結構相似性指數SSIM損失，即將這些損失進行加權作為最終的損失；其中，SSIM損失包含雨條紋SSIM損失和最終生成圖像的SSIM損失。

5.根據權利要求1所述的一種基于圖像濾波和CNN的有雨圖像雨條紋去除方法，其特征在于，步驟S3中所述特征融合判別網絡將高頻特征與全局特征進行融合具體為：

使用矩陣加法，將高頻特征初提取網絡的特征圖所占權重和全局特征提取網絡的特征圖所占權重分別設置為0.2和0.8，得到融合特征圖；后續網絡對所述融合特征圖進行進一步特征提取，其最終輸出為一個值在0-1之間的矩陣，對圖像的不同區域進行分別判別。