[發明專利]基于深度卷積神經網絡單圖像去雨方法、系統和存儲介質

有效

• 申請號: 202110889468.0
• 申請日: 2021-08-04
• 公開（公告）號: CN113450288B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 林凱隆;羅玉;凌捷;柳毅
• 申請（專利權）人: 廣東工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京清控智云知識產權代理事務所(特殊普通合伙) 11919
• 代理人: 管士濤

1.一種基于深度卷積神經網絡單圖像去雨方法，其特征在于，所述方法包括以下步驟：

獲取含有大量干凈無雨圖像和對應的合成雨圖像作為一個樣本對的訓練圖像集；

構建網絡模型，所述網絡模型包括雨層分離子網絡和細節修復子網絡；

將所述訓練圖像集進行預處理，得到預處理訓練集，輸入所述網絡模型中進行訓練，獲得訓練好的去雨網絡模型；

將需要去雨圖像輸入訓練好的去雨網絡模型中，獲得去雨圖像；

所述雨層分離子網絡由兩個卷積層、一個殘差塊和七個引入通道注意力的空洞卷積模塊構成，用于分離雨層及初步重建背景層；

所述細節修復子網絡由兩個卷積層、一個殘差塊和五個引入注意力的多尺度特征融合模塊構成，用于修復移除雨層后背景層丟失的細節；

所述將所述訓練圖像集進行預處理，得到預處理訓練集，輸入所述網絡模型中進行訓練，獲得訓練好的去雨網絡模型，具體為：

對訓練圖像集進行預處理，然后將雨圖像輸入雨層分離子網絡，得到分離的雨層圖像和初步重建的背景層圖像，表示如下，

R_i＝RainNet(O_i),

其中O_i表示訓練圖像集中的第i張雨圖像，RainNet(·)為雨層分離子網絡，R_i為從第i張雨圖像中分離出來的雨層圖像，為初步重建出來的背景層圖像；

選擇損失函數為MSE損失函數，以最小化此損失函數為訓練目標，損失函數表達式如下，

其中，θ_r為雨層分離子網絡的網絡參數，B_i為O_i所對應的干凈圖像；

通過雨層圖像生成雨紋位置信息的注意力映射，其表示如下，

其中A_i為根據第i張雨層圖像生成的注意力映射，σ(·)表示Sigmoid激活函數，所述Sigmoid激活函數將特征圖的每個像素點的值映射到(0,1)的區間，形成注意力權重，其公式定義如下，

其中，x為Sigmoid激活函數的輸入；

與初步重建的背景層 圖像一同輸入細節修復子網絡，可表示如下，

其中為對應第i張雨圖像生成的無雨圖像，DetailNet(·)為細節修復子網絡，Cat[·]為通道維度的拼接操作；

選擇的損失函數為Charbonnier損失函數，以最小化此損失函數為訓練目標，損失函數表達式如下，

其中θ_d為細節修復子網絡的網絡參數，ε為使數值穩定的極小常量，設置為10^-3，因此整個網絡模型的損失函數可表示為

Loss_total＝λ₁Loss₁+λ₂Loss₂

其中λ₁，λ₂為調節兩部分損失函數的權重系數。

2.根據權利要求1所述的一種基于深度卷積神經網絡單圖像去雨方法，其特征在于，所述雨層分離子網絡具體為：

所述雨層分離子網絡的淺層由一個卷積層和一個殘差塊組成，用于初步得到輸入雨圖的淺層特征表示F_shallow，表示為，

F_shallow＝Res(Conv_3x3(O))

其中，Res(·)為標準殘差塊，Conv_3x3(·)則是卷積核大小為3的卷積層，O為雨圖像，然后級聯七個相同的引入通道注意力的空洞卷積模塊，所述空洞卷積模塊由三個卷積核大小為3，空洞分別為1，3，5的空洞卷積層，一個卷積核大小為1的卷積層和一個通道注意力加權操作模塊組成，表示為，

DCCA＝

SE(Conv_1x1(Cat[Conv_K3D1(F),Conv_K3D3(F),Conv_K3D5(F)])),

其中F為輸入的特征圖，Conv_KxDy(·)為卷積核K的大小為x,空洞D的大小為y的卷積層，Cat[·]為通道維度的拼接操作，SE為通道注意力加權操作模塊。