[發明專利]多通道多尺度卷積神經網絡的單幅圖像去雨方法

在審

• 申請號: 201911069082.4
• 申請日: 2019-11-05
• 公開（公告）號: CN110751612A
• 公開（公告）日: 2020-02-04
• 發明（設計）人: 柳長源;王琪;張一帆;何先平
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

該發明涉及一種多通道多尺度卷積神經網絡的單幅圖像去雨方法。建立了多通道多尺度卷積神經網絡用于提取有雨圖像的特征信息并向無雨圖像方向映射。首先利用引導濾波將有雨圖像進行分解，得到低頻背景圖像和更高頻雨線圖像。然后將低頻背景圖像和更高頻雨線圖像一起送入卷積神經網絡進行特征學習,得到去除雨線的低頻圖像和更高頻圖像，最后將其相融合得到去雨圖像。卷積神經網絡中對低頻背景圖像和更高頻雨線圖像提取的是多尺度特征圖。同時，在構造網絡模型時利用空洞卷積代替普通來提取圖像的多尺度特征信息，得到更豐富的圖像特征，提高算法的去雨性能。通過實驗驗證本發明可以有效去除圖像中的雨線，且去雨之后的圖像清晰，細節保持度高。

技術領域

本發明涉及計算機視覺領域，涉及一種多通道多尺度卷積神經網絡的單幅圖像去雨方法。

背景技術

雨天會對圖像的成像質量造成影響，使圖像模糊，形變，可視性差等等。這就會使戶外計算機視覺系統的工作受到影響。 因此，圖像去雨算法的研究越來越受到各國研究人員的重視。圖像去雨是目標識別和目標跟蹤等領域算法的前期工作，其對于提高這類算法的性能具有很大的幫助，圖像去雨在機器視覺領域具有很大的應用前景。

近年來，圖像去雨算法得到越來越多研究人員的關注，目前去雨算法主要分為兩類，第一類是具有時間冗余性的視頻圖像去雨算法，第二類是雨線分布缺少時空動態相關特性的單幅圖像去雨算法，相比于視頻圖像的去雨，單幅圖像只包含某一時刻的雨線分布,所以基于單幅圖像去雨算法是當前研究工作中的難點。將有雨圖像分解為高頻和低頻部分的去雨算法不需要進行預處理，應用范圍較廣。基于深度學習來處理單幅圖像去雨問題，充分地利用了圖像中的特征信息，得到的去雨效果比較好，受到廣泛認可。

發明內容

本發明在于提供一種多通道多尺度卷積神經網絡的單幅圖像去雨方法，該方法可以有效去除圖像上的雨線，去雨之后的圖像清晰，細節保持度較高，可應用于目標識別和目標跟蹤等計算機視覺領域。

為實現上述目的，本發明的技術方案為：

建立了多通道多尺度卷積神經網絡用于提取有雨圖像的特征信息并向無雨圖像方向映射。首先利用引導濾波將有雨圖像進行分解，得到高頻雨線圖像和低頻背景圖像。然后將低頻背景圖像和更高頻雨線圖像一起送入多通道多尺度卷積神經網絡進行特征學習,并向無雨的低頻圖像與更高頻圖像映射，最后將網絡輸出的去雨的低頻圖像與更高頻圖像相融合得到雨線去除更徹底的復原圖像。其中卷積神經網絡中對低頻背景圖像和高頻雨線圖像提取的是多尺度特征圖。同時，在構造網絡模型時利用空洞卷積代替普通來提取圖像的多尺度特征信息，得到更豐富的圖像特征，提高算法的去雨性能。

有雨圖像的分解步驟如下：

步驟一、將有雨圖像I通過引導濾波后得到高頻雨線圖像和有雨痕殘留的低頻背景圖像：

步驟二、將步驟一所得到的高頻雨線圖像再次通過引導濾波得到更高頻雨線圖像:

。

多通道卷積神經網絡的實現方式：

將低頻背景圖像和更高頻雨線圖像一起送入卷積神經網絡進行特征學習。通道1表示提取低頻背景圖像特征信息的卷積神經網絡；通道2表示提取高頻雨線圖像特征信息的卷積神經網絡，由于低頻背景圖像中殘留大量雨線，將其與高頻雨線圖像一起送入卷積神經網絡進行特征學習后向無雨的更高頻圖像和低頻圖像映射，將得到去雨的更高頻圖像和低頻圖像相融合得到去雨效果好的復原圖像。網絡最終輸出的去雨圖像K為卷積神經網絡輸出的去雨的低頻圖像與更高頻圖像的加和，表示為

。

多尺度卷積神經網絡的實現方式：