[發明專利]多通道多尺度卷積神經網絡的單幅圖像去雨方法

在審

• 申請號: 201911069082.4
• 申請日: 2019-11-05
• 公開（公告）號: CN110751612A
• 公開（公告）日: 2020-02-04
• 發明（設計）人: 柳長源;王琪;張一帆;何先平
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種多通道多尺度卷積神經網絡的單幅圖像去雨方法，其特征在于建立了多通道多尺度卷積神經網絡結構來提取有雨圖像的特征信息并向無雨圖像方向映射；首先利用引導濾波將有雨圖像進行分解，得到低頻背景圖像和更高頻雨線圖像，然后將低頻背景圖像和更高頻雨線圖像一起送入多通道多尺度卷積神經網絡進行特征學習,并向無雨的低頻圖像與更高頻圖像映射，最后將網絡輸出的去雨的低頻圖像與更高頻圖像相融合得到雨線去除更徹底的復原圖像；其中卷積神經網絡中對低頻背景圖像和更高頻雨線圖像提取的是多尺度特征圖；同時，在構造網絡模型時利用空洞卷積代替普通來提取圖像的多尺度特征信息。

2.根據權利要求1所述的基于多通道多尺度卷積神經網絡的單幅圖像去雨方法，其特征在于，所述利用引導濾波將有雨圖像進行分解，得到低頻背景圖像和更高頻雨線圖像，其具體步驟如下：

步驟一、將有雨圖像I通過引導濾波后得到高頻雨線圖像和有雨痕殘留的低頻背景圖像：

步驟二、將步驟一所得到的高頻雨線圖像再次通過引導濾波得到更高頻雨線圖像:

所得的更高頻雨線圖像增強了雨線信息的同時削弱了背景結構信息，可以減少網絡學習中的背景誤判。

3.根據權利要求1所述的基于多通道多尺度卷積神經網絡的單幅圖像去雨方法，其特征在于，多通道是指將低頻背景圖像和更高頻雨線圖像一起送入卷積神經網絡進行特征學習；通道1表示提取低頻背景圖像特征信息的卷積神經網絡；通道2表示提取更高頻雨線圖像特征信息的卷積神經網絡；

網絡最終輸出的去雨圖像K為卷積神經網絡輸出的去雨的低頻圖像與更高頻圖像的加和，表示為

多尺度卷積是指對低頻背景圖像和更高頻雨線圖像分別利用空洞卷積提取兩種尺度的特征圖， 卷積神經網絡的第一層是特征提取層，分別用空洞卷積Covn11、Covn12和Covn21、Covn22提取不同尺度的圖像特征；提取的不同尺度的特征圖像組成一個特征圖像集合后通過第二層卷積層來估計有雨圖像與去雨圖像之間特征圖的映射關系，最后通過一層輸出層輸出去雨的低頻背景圖像與去雨的更高頻圖像，融合去雨的低頻背景圖像與去雨的更高頻圖像得到清晰的去雨圖像；通過改變第一層特征提取層中的空洞卷積率，得到的特征圖像的感受野大小不同，通道1和通道2中第一層卷積中Covn11、Covn12兩個空洞卷積層的空洞卷積率(Dilition rate)均設為1，得到感受野大小為的特征圖;Covn21、Covn22兩個空洞卷積層的(Dilition rate)分別設為 1、2，得到的感受野大小為的特征圖；然后通過一個連接層將兩個尺度的特征圖組成一個集合；對于通道1和通道2網絡結構是一樣的，所以下面每層卷積的計算公式以通道1的特征提取網絡結構為例：

其中表示輸入圖像，即低頻圖像與更高頻圖像，*表示卷積操作，表示激活函數，和為第一層特征提取層的2個網絡參數，和為偏置值，表示2個尺度的特征圖組成的集合，里面包含512張有雨特征圖，即維度為512；為第二層卷積層的網絡參數，為偏置值，為輸出層的網絡參數，為偏置值。