[發(fā)明專利]基于深度卷積神經(jīng)網(wǎng)絡(luò)單圖像去雨方法、系統(tǒng)和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110889468.0
• 申請日: 2021-08-04
• 公開（公告）號: CN113450288B
• 公開（公告）日: 2022-09-06
• 發(fā)明（設(shè)計）人: 林凱隆;羅玉;凌捷;柳毅
• 申請（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京清控智云知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11919
• 代理人: 管士濤

本申請的目的在于提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)單圖像去雨方法、系統(tǒng)和存儲介質(zhì)，首先在第一階段的雨層分離網(wǎng)絡(luò)中，借助引入通道注意力的空洞卷積模塊充分聚合輸入雨圖像的空間上下文信息，提取雨層信息，實現(xiàn)雨層分離和背景層的初步重建；然后在第二階段的細節(jié)修復(fù)網(wǎng)絡(luò)中，對分離的雨層生成雨紋位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷積模塊，修復(fù)初步重建背景層中因移除雨層而丟失的細節(jié)，得到高質(zhì)量的無雨圖像。本發(fā)明通過搭建兩階段的深度卷積神經(jīng)網(wǎng)絡(luò)，有效地提取并移除雨圖像中雨層，并修復(fù)退化的背景層，得到更高質(zhì)量的無雨圖像。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于兩階段深度卷積神經(jīng)網(wǎng)絡(luò)單圖像去雨方法。

背景技術(shù)

現(xiàn)實中大部分計算機視覺算法都假定輸入時清晰的，然而戶外攝取的視頻與圖像數(shù)據(jù)常常受到惡劣天氣的干擾，這很大程度上限制了計算機視覺系統(tǒng)的正常使用。下雨天是自然界最為常見的惡劣天氣之一，雨紋離散分布在整張圖像中，而且受雨紋影響的區(qū)域和旁邊不受影響的區(qū)域會產(chǎn)生像素值突變，使得問題的建模和處理都變得非常困難。此外雨紋隨機地出現(xiàn)在圖像上遮蓋原本的信息，原來的物體信息丟失，需要重新生成或者用相鄰去雨的像素進行填補。因此，如何去除有雨圖像上的雨紋，使有雨圖像清晰化，開展單幅圖像去雨課題的研究具有重要意義與實際應(yīng)用價值。

現(xiàn)今基于學(xué)習(xí)的方法是研究的熱點，由于雨圖像中雨紋的大小、形狀、方向不同，大量不同的雨紋疊加，因此單圖像去雨是個高度復(fù)雜的問題，用單個網(wǎng)絡(luò)往往很難一次性地修復(fù)雨圖像，多階段學(xué)習(xí)的方法如Li等提出的RESCAN網(wǎng)絡(luò)，Ren等提出的PReNet，都取得了更好的去雨效果。

但現(xiàn)有的方法仍存在改進空間，如移除雨紋之后，會出現(xiàn)圖像退化，即雨痕覆蓋區(qū)域存在視覺偽影，偏移以及細節(jié)損失等問題。

發(fā)明內(nèi)容

本申請的目的在于提供一種基于深度卷積神經(jīng)網(wǎng)絡(luò)單圖像去雨方法、系統(tǒng)和存儲介質(zhì)，首先在第一階段的雨層分離網(wǎng)絡(luò)中，借助引入通道注意力的空洞卷積模塊充分聚合輸入雨圖像的空間上下文信息，提取雨層信息，實現(xiàn)雨層分離和背景層的初步重建；然后在第二階段的細節(jié)修復(fù)網(wǎng)絡(luò)中，對分離的雨層生成雨紋位置信息的注意力映射，再借助引入通道注意力的多尺度特征融合的卷積模塊，修復(fù)初步重建背景層中因移除雨層而丟失的細節(jié)，得到高質(zhì)量的無雨圖像。本發(fā)明通過搭建兩階段的深度卷積神經(jīng)網(wǎng)絡(luò)，有效地提取并移除雨圖像中雨層，并修復(fù)退化的背景層，得到更高質(zhì)量的無雨圖像。

本發(fā)明第一方面提供了一種基于深度卷積神經(jīng)網(wǎng)絡(luò)單圖像去雨方法，所述方法包括以下步驟：

獲取含有大量干凈無雨圖像和對應(yīng)的合成雨圖像作為一個樣本對的訓(xùn)練圖像集；

構(gòu)建網(wǎng)絡(luò)模型，所述網(wǎng)絡(luò)模型包括雨層分離子網(wǎng)絡(luò)和細節(jié)修復(fù)子網(wǎng)絡(luò)；

將所述訓(xùn)練圖像集進行預(yù)處理，得到預(yù)處理訓(xùn)練集，輸入所述網(wǎng)絡(luò)模型中進行訓(xùn)練，獲得訓(xùn)練好的去雨網(wǎng)絡(luò)模型；

將需要去雨圖像輸入訓(xùn)練好的去雨網(wǎng)絡(luò)模型中，獲得去雨圖像；

所述雨層分離子網(wǎng)絡(luò)由兩個卷積層、一個殘差塊和七個引入通道注意力的空洞卷積模塊構(gòu)成，用于分離雨層及初步重建背景層；

所述細節(jié)修復(fù)子網(wǎng)絡(luò)由兩個卷積層、一個殘差塊和五個引入注意力的多尺度特征融合模塊構(gòu)成，用于修復(fù)移除雨層后背景層丟失的細節(jié)。

本方案中，所述雨層分離子網(wǎng)絡(luò)具體為：

所述雨層分離子網(wǎng)絡(luò)的淺層由一個卷積層和一個殘差塊組成，用于初步得到輸入雨圖的淺層特征表示F_shallow，表示為，

F_shallow＝Res(Conv_3x3(O))