[發明專利]一種圖像去雨方法及系統

有效

• 申請號: 201810437574.3
• 申請日: 2018-05-09
• 公開（公告）號: CN108648159B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 陳天一
• 申請（專利權）人: 華南師范大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04
• 代理公司: 廣州駿思知識產權代理有限公司 44425
• 代理人: 吳靜芝

1.一種圖像去雨方法，其特征在于，包括如下步驟：

步驟S1：構建圖像訓練數據庫；其中，圖像訓練數據庫中包括多對無雨-有雨-純雨紋圖像對；

步驟S2：根據圖像訓練數據庫中的無雨-有雨-純雨紋圖像對，構建用于去雨的孿生卷積網絡結構；

步驟S3：將待去雨圖像進行濾波處理，獲取待去雨圖像的高頻信息和低頻信息；

步驟S4：將待去雨圖像的高頻信息輸入到用于去雨的孿生卷積網絡結構中，得到對應的無雨圖像的高頻信息；再將獲得的無雨圖像的高頻信息加上有雨圖像的低頻信息，得到對應的無雨圖像；

所述用于去雨的孿生卷積網絡結構包括用于檢測雨紋的第一層網絡結構和用于去除雨紋的第二層網絡結構；

所述構建用于去雨的孿生卷積網絡結構包括如下步驟：

步驟S21：將圖像訓練數據庫中的每張圖像均進行濾波處理，獲取每張圖像中的高頻信息；

步驟S22：初始化第一層網絡結構、第二層網絡結構的網絡參數、第一層網絡結構的訓練次數和第二層網絡結構的訓練次數、以及用于去雨的孿生卷積網絡結構的構建次數；

步驟S23：以無雨-有雨-純雨紋圖像對作為一組訓練樣本，將該組訓練樣本中有雨圖像的高頻信息作為輸入信息輸入到第一層網絡結構中，以輸出純雨紋圖像的高頻信息，且將第一層網絡結構的訓練次數增加1；

步驟S24：判斷第一層網絡結構的訓練次數是否滿足第一設定條件，若滿足，則繼續步驟S25，以訓練第二層網絡結構；否則，反向傳播更新第一層網絡結構中的網絡參數，并取下一組訓練樣本，回到步驟S23，以繼續訓練第一層網絡結構；

步驟S25：以無雨-有雨-純雨紋圖像對作為一組訓練樣本，將該組訓練樣本中有雨圖像的高頻信息作為輸入信息輸入到第一層網絡結構中，以輸出純雨紋圖像的高頻信息；再將第一層網絡結構輸出的純雨紋圖像的高頻信息輸入到第二層網絡結構中，以輸出無雨圖像的高頻信息；且將第二層網絡結構的訓練次數增加1；

步驟S26：判斷第二層網絡結構的訓練次數是否滿足第二設定條件，若滿足，則判定完成一次用于去雨的孿生卷積網絡結構的構建，且將用于去雨的孿生卷積網絡結構的構建次數增加1，繼續步驟S27；否則，反向傳播更新第二層網絡結構中的網絡參數，并取下一組訓練樣本，回到步驟S25，以繼續訓練第二層網絡結構；

步驟S27：判斷用于去雨的孿生卷積網絡結構的構建次數是否滿足第三設定條件，若滿足，則獲取所述用于去雨的孿生卷積網絡結構；否則，取下一組訓練樣本，將第一層網絡結構的訓練次數和第二層網絡結構的訓練次數重新初始化，回到步驟S23，以繼續訓練用于去雨的孿生卷積網絡結構。

2.根據權利要求1所述的圖像去雨方法，其特征在于：所述構建圖像訓練數據庫包括如下步驟：

步驟S11：獲取多張無雨圖像和多張純雨紋圖像；

步驟S12：通過線性靜態雨紋疊加模型，在無雨圖像中加入純雨紋圖像，獲取對應的線性有雨圖像；

步驟S13：通過非線性靜態雨紋混合模型，在無雨圖像中加入純雨紋圖像，獲取對應的非線性有雨圖像；

步驟S14：根據無雨圖像、純雨紋圖像、線性有雨圖像和非線性有雨圖像構建無雨-有雨-純雨紋圖像對。

3.根據權利要求2所述的圖像去雨方法，其特征在于：在構建無雨-有雨-純雨紋圖像對之后，還通過一個滑動窗口在每個圖像對中隨機滑動，并將與滑動窗口重合部分的圖像切出，以隨機擴充圖像訓練數據庫，并以該隨機擴充后的圖像訓練數據庫中的無雨-有雨-純雨紋圖像對來構建用于去雨的孿生卷積網絡結構。

4.根據權利要求1所述的圖像去雨方法，其特征在于：所述第一層網絡結構包含3個隱含層，1個輸出層，其網絡結構如下式所示：

h⁰＝I-I_{low frequency}；

其中，h⁰為輸入層，是輸入有雨圖像減去濾波后的對應低頻有雨圖像得到的高頻有雨圖像；l表示網絡的層數，1，2，3為隱含層，4為輸出層；O1為第一層網絡結構的輸出圖像；*為圖像的卷積操作；為網絡1每一層的偏置參數；為網絡1每一層的權重參數；σ為修正線性單元函數激活函數，其表達式為：f(x)＝max(0，x)。