[發明專利]基于卷積神經網絡的上下文聚合殘差單幅圖像去雨方法

有效

• 申請號: 202010965496.1
• 申請日: 2020-09-15
• 公開（公告）號: CN112184573B
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 石爭浩;高蒙蒙
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 弓長

1.基于卷積神經網絡的上下文聚合殘差單幅圖像去雨方法，其特征在于，包括以下具體步驟，

步驟1：預處理圖像；

步驟2：構建卷積神經網絡模型；

所述步驟2中構建卷積神經網絡模型，具體地為：

一編碼器網絡，編碼器輸入所述預處理圖像，逐層提取圖像的淺層特征，得到編碼器提取特征后，編碼器進行下采樣處理，經過上下文聚合模塊DCA_Block模塊處理，得到編碼器輸出特征，再通過跳躍連接組合到融合網絡中；

一解碼器網絡，用于融合所述融合網絡中的編碼器輸出特征，解碼器進行上采樣處理，經過上下文聚合模塊DCA_Block模塊處理后，與所述編碼器輸出特征的數據通過跳躍連接方式進行疊加融合后，構成端到端編解碼卷積神經網絡模型；

所述上下文聚合模塊DCA_Block模塊，包括第一CAN模塊和第二CAN模塊；輸入圖像特征經過第一CAN模塊、第二CAN模塊后得到輸出圖像特征，輸出圖像特征通過跳躍連接的方式與輸入圖像特征相加，得到上下文聚合模塊DCA_Block模塊的輸出數據；

CAN模塊對輸入特征分別經過連續兩次卷積核大小為3×3、步長為1、擴張率為分別為1，3，5的卷積操作，并將得到的三種不同擴張率卷積提取后的特征進行通道維度上的相加，此時通道數會變為CAN輸入特征的三倍；

具體包括以下步驟：

S1，輸入預處理后的圖像經過第一個卷積層處理輸出特征O₁，輸出特征O₁經過第二個卷積層處理輸出特征O₂；

S2，將輸出特征O₂經過上下文聚合模塊DCA_Block模塊輸出特征O₃；

S3，輸出特征O₃經過下采樣卷積層進行第一次下采樣處理后，得到輸出特征O₄；

S4，輸出特征O₄經過上下文聚合模塊DCA_Block模塊輸出特征O₅；

S5，輸出特征O₅經過下采樣卷積層進行第二次下采樣處理后，得到輸出特征O₆；

S6，輸出特征O₆經過上下文聚合模塊DCA_Block模塊輸出特征O₇；

S7，輸出特征O₇依次經過三個卷積殘差塊，三個卷積殘差塊之間依次采用跳躍連接；

S8，輸出特征O₁₀經過上下文聚合模塊DCA_Block模塊輸出特征O₁₁；

S9，輸出特征O₁₁經過上采樣卷積層進行第一次上采樣處理后，得到輸出特征O₁₂；

S10，將輸出特征O₃、輸出特征O₁₂進行通道連接，經過第三個卷積層處理輸出特征O₁₃；

S11，輸出特征O₁₃經過上下文聚合模塊DCA_Block模塊輸出特征O₁₄；

S12，輸出特征O₁₄經過上采樣卷積層進行第二次上采樣處理后，輸出特征O₁₅；

S13，輸出特征O₅、輸出特征O₁₅進行通道連接，經過第四個卷積層處理輸出特征O₁₆；

S14，輸出特征O₁₆經過第五個卷積層處理后，與步驟S1輸入圖像進行相加，得到最終輸出圖像結果，即完成卷積神經網絡模型構建；

步驟3：采用步驟1得到的預處理后的圖像對步驟2得到的卷積神經網絡模型進行訓練，得到去雨卷積神經網絡模型，利用損失函數對去雨卷積神經網絡模型進行約束，然后反向傳播進行參數更新，得到訓練好的去雨網絡模型；

步驟4：將待處理有雨的圖像輸入所述訓練好的去雨網絡模型中，最終輸出去雨后的圖像。

2.如權利要求1所述的基于卷積神經網絡的上下文聚合殘差單幅圖像去雨方法，其特征在于，所述下采樣是由一個卷積核大小3×3、步長為2、通道為64的卷積組成；

所述上采樣是由一個大小3×3、步長為2的轉置卷積組成。

3.如權利要求1所述的基于卷積神經網絡的上下文聚合殘差單幅圖像去雨方法，其特征在于，所述卷積殘差塊，具體公式為：

x_l+1＝x_l+F(x_l+W_l)₍₁₎??(1)

其中，x_l+1為第l+1層卷積層的卷積結果，x_l為第l層卷積層的卷積結果，W_l為第l層卷積層的權重，F(x_l+W_l)為殘差部分。