[發明專利]基于卷積神經網絡的單圖像去雨方法

有效

• 申請號: 201911095524.2
• 申請日: 2019-11-11
• 公開（公告）號: CN110852972B
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 胡伏原;葉子寒;李林燕;孫鈺;溫堯樂
• 申請（專利權）人: 蘇州科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 王玉仙

本發明公開了一種基于卷積神經網絡的單圖像去雨方法。本發明首先，我們并未使用導向濾波或者其他濾波分離圖像以盡可能地保留圖像的原始信息。其次，我們提出了我們的RK塊來代替殘差塊以更高效地提取特征。最后，我們提出了特征轉換連結操作來處理多尺度雨線。此外，批正則化操作假設了特征都有著相同的分布，然而不同的雨線有著不同的方向、顏色和形狀，因此我們移除了網絡中所有的批正則化操作。本發明的有益效果：以卷積神經網絡為基礎，設計一類較為簡潔、高效的單步單流去雨網絡模型，以便更好地修復帶雨圖像，同時保持修復質量和模型大小之間的平衡。

技術領域

本發明涉及圖像處理領域，具體涉及一種基于卷積神經網絡的單圖像去雨方法。

背景技術

在雨天采集的圖像中，雨線會嚴重降低人對背景的感知以及其他機器視覺應用的表現，比如目標檢測方法。長期以來，研究者希望設計出能夠去除雨線的同時修復背景的單張圖像去雨網絡。而單張圖像去雨網絡方法主要分為多流去雨網絡，多步去雨網絡和單步單流去雨網絡三大類。多流去雨網絡比如Joint Rain Detection and Removal(JORDER)，Multi-stream Dense Network(DID-MDN)會將帶雨圖像輸入到網絡不同的分支中，然后融合不同分支得到的圖像特征。Zhang等人提出的DID-MDN中使用了一個雨線密度預測子網絡預測圖像中整體雨線的密度標簽，然后將其和另外三個多尺度圖像特征提取子網絡提取出的特征圖拼接以進行后續修復。多步去雨網絡比如Recurrent SE Contect AggregationNet(RESCAN)，Progressive ResNet(PRN)和Progressive Recurrent Network(PReNet)會通過將網絡上一步的輸出作為下一步的輸入迭代地多次去雨。但由于網絡需要進行多次圖像和特征之間的轉換，降低了去雨效果并且可能累計每次迭代的誤差。單步單流去雨網絡旨在用單個網絡一次性地修復帶雨圖像。但由于過去人們一直假設單個網絡在單步是不足以捕捉所有在不同方向不同尺度的雨線信息，所以除了Fu等人提出的Deep DetailNetwork(DDN)，幾乎所有去雨網絡幾乎都是多流或者多步的設計模式。

傳統技術存在以下技術問題：

多流去雨網絡由于需要多個子網絡合作去雨，隨著網絡設計變得的越來越復雜，網絡的訓練變得越來越需要更多的小技巧，因此很難驗證各個子網絡的有效性。多步去雨網絡每次去雨都依賴上一次的狀態，誤差可能會被逐步積累。此外，多流去雨網絡和多步去雨網絡都有著大量的參數導致他們難以應用到真實應用中。而單步單流網絡雖然整體設計簡單，易于訓練，但由于網絡結構不夠高效導致效果遠遠不如多步去雨網絡和多流去雨網絡。

發明內容

本發明要解決的技術問題是提供一種基于卷積神經網絡的單圖像去雨方法，以卷積神經網絡為基礎，設計一類較為簡潔、高效的單步單流去雨網絡模型，以便更好地修復帶雨圖像，同時保持修復質量和模型大小之間的平衡。

為了解決上述技術問題，本發明提供了一種基于卷積神經網絡的單圖像去雨方法，包括：首先，并未使用導向濾波或者其他濾波分離圖像以盡可能地保留網絡的；其次，利用RK塊來代替殘差塊以更高效地提取特征；利用特征轉換連結操作來處理多尺度雨線；

其中，卷積神經網絡的網絡架構由四部分組成：

(1)由一個被ReLU函數激活的卷積層構成的輸入層來提取較淺層的特征：

X⁰＝σ((Conv⁰(X)))； (7)

(2)一系列的RK塊來提取更高層的特征：

其中RK塊是由四個不同的非線性映射模塊G和一個通道注意力加權操作Squeeze-and-Excitation(SE)組成的：

每個非線性映射模塊由兩個卷積層堆疊而層：