[發明專利]一種基于循環迭代機制的單幅圖像雨滴去除方法

有效

• 申請號: 202110134465.6
• 申請日: 2021-02-01
• 公開（公告）號: CN112767280B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 牛玉貞;陳鋒;鄭路偉
• 申請（專利權）人: 福州大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

1.一種基于循環迭代機制的單幅圖像雨滴去除方法，其特征在于，包括以下步驟：

步驟A、對原始附著雨滴退化圖像和干凈圖像的訓練圖像對進行預處理，得到原始附著雨滴退化圖像和干凈圖像的訓練圖像對組成的圖像塊數據集；

步驟B、利用不斷迭代去雨的動機，設計一個單幅圖像雨滴去除卷積神經網絡；

步驟C、設計一個用于優化網絡的目標損失函數loss，以圖像塊數據集為訓練數據，根據所設計的目標損失函數loss，利用反向傳播方法計算所設計的單幅圖像雨滴去除卷積神經網絡中各參數的梯度，并利用隨機梯度下降方法更新參數，最終學習到單幅圖像雨滴去除卷積神經網絡的最優參數；

步驟D、將待測圖像輸入到所設計的單幅圖像雨滴去除卷積神經網絡，利用訓練好的單幅圖像雨滴去除卷積神經網絡預測生成雨滴去除之后的干凈圖像；

所述步驟B具體實現步驟如下：

步驟B1、設計一個多階段的單幅圖像雨滴去除卷積神經網絡，該網絡是基于循環迭代機制的卷積神經網絡，具體由多個網絡結構相同并且網絡參數共享的階段子網絡構成；

步驟B2、設計階段子網絡，用于提取雨滴的相關特征，以更好地去除雨滴；

步驟B3、設計階段子網絡中的上下文聚合模塊和注意力上下文聚合模塊，用于聚合其網絡中缺乏的空間上下文信息；

所述步驟B2具體實現步驟如下：

步驟B21、將通過上一階段子網絡得到的雨滴去除后的圖像塊與其對應的原始附著雨滴圖像塊在通道上拼接的結果作為每個階段子網絡的輸入；對于第一個階段子網絡，其輸入為兩張原始附著雨滴圖像塊在通道上拼接的結果；

步驟B22、將步驟B21得到的拼接后的結果輸入到一個激活函數為ReLU的卷積層，進行圖像到特征圖的轉換，按如下公式輸出特征：

其中，Conv1代表激活函數為ReLU的卷積層，I_o為原始附著雨滴圖像塊，I_t-1代表上一階段得到的雨滴去除后的圖像塊，對于第一階段，I_t-1為I_o，代表按照通道拼接特征操作，F₀代表所提取的特征圖；

步驟B23、將特征圖F₀輸入到一個卷積長短期記憶網絡模塊，由遺忘門f、輸入門i及輸出門o構成，按如下公式計算：

f_t＝σ(W_xf*F₀+W_hf*H_t-1+W_cf⊙C_t-1+b_f)

i_t＝σ(W_xi*F₀+W_hi*H_t-1+W_ci⊙C_t-1+b_i)

C_t＝f_t⊙C_t-1+i_t⊙tanh(W_xc*F₀+W_hc*H_t-1+b_c)

o_t＝σ(W_xo*F₀+W_ho*H_t-1+W_c0⊙C_t+b₀)

F₁＝H_t＝o_t⊙tanh(C_t)

其中，t時刻遺忘門f_t和輸入門i_t的輸入都是由特征圖F₀、上一時刻卷積長短期記憶網絡模塊的輸出H_t-1及上一時刻細胞信息狀態C_t-1這三部分構成的，t時刻輸出門o_t的輸入則由特征圖F₀、上一時刻卷積長短期記憶網絡模塊的輸出H_t-1及t時刻細胞信息狀態C_t這三部分構成；W_*和b_*分別為其對應卷積核的權重參數和偏差參數，tanh表示正切函數，σ表示Sigmoid函數，運算符*表示卷積操作，運算符⊙表示點乘操作；C_t為當前t時刻的細胞信息狀態，該細胞信息狀態會饋送到下一時刻的卷積長短期記憶網絡模塊，H_t表示當前t時刻的卷積長短期記憶網絡模塊輸出的特征圖；為方便描述，將H_t記為F₁；

通過多階段的方式，將上述的每一時刻轉變為每一階段；對于網絡的第一階段，由于其沒有上一階段，因此將其遺忘門和輸入門的輸入設置為0；

步驟B24、將卷積長短期記憶網絡模塊的輸出F₁輸入到所設計的多個上下文聚合模塊和注意力上下文聚合模塊，依次包括擴張率為2的上下文聚合模塊-擴張率為2的注意力上下文聚合模塊-擴張率為2的上下文聚合模塊-擴張率為4的上下文聚合模塊-擴張率為4的注意力上下文聚合模塊-擴張率為4的上下文聚合模塊，按如下公式計算：

F₂＝CAU₄(SECAU₄(CAU₄(CAU₂(SECAU₂(CAU₂(F₁))))))

其中，CAU_r(*)表示擴張率為r的上下文聚合模塊，SECAU_r(*)表示擴張率為r的注意力上下文聚合模塊；

步驟B25、將步驟B24的輸出結果F₂輸入到一個標準殘差模塊，再送入到一個激活函數為ReLU的卷積層，完成特征圖到圖像的轉換，按如下公式輸出通道數為3的當前階段子網絡t的雨滴去除圖像：

I_t＝Conv2(Res(F₂))

其中，Res(*)表示標準殘差模塊，Conv2表示激活函數為ReLU的卷積層，I_t為當前階段子網絡t的雨滴去除圖像；

所述步驟B3具體實現步驟如下：

步驟B31、在上下文聚合模塊中，首先將輸入特征F送到一個平滑空洞卷積模塊，按以下公式計算：

F₃＝Dilated_r(Sep(F))

其中，F₃為平滑空洞卷積模塊的輸出特征，F為上下文聚合模塊的輸入，Sep(*)為可分離共享卷積層，即基于通道且所有通道共享參數的可分離卷積，Dilated_r(*)為空洞卷積，通過擴張率r這個參數來增大感受野，有效聚合空間上下文信息以更好地提取特征；擴張率r表示卷積核中元素之間隔了多少個0，當r＝1，此時空洞卷積與普通卷積完全一樣，卷積核中元素之間相互挨著，沒有0；而當r＞1時，卷積核中元素之間需要插入r-1個0來擴大其感受野；步驟B24中所述的擴張率r即為此處空洞卷積的擴張率；

注意力上下文聚合模塊和上下文聚合模塊唯一的差別就在于此步驟，即注意力上下文聚合模塊增加了通道注意力模塊，后續步驟完全一樣，注意力上下文聚合模塊按以下公式計算：

F₃＝SE(Dilated_r(Sep(F)))

其中，SE(*)表示通道注意力模塊；

步驟B32、注意力上下文聚合模塊和上下文聚合模塊中，將步驟B31輸出的特征F₃送入到一個自校正卷積構成的殘差模塊輸出，按如下公式計算：

F₄＝LeakyReLU(F₃+SCC(F₃))

F₄為自校正卷積構成的殘差模塊輸出，該模塊包括一個自校正卷積、LeakyReLU函數及殘差連接，LeakyReLU(*)其公式如下：

其中，x表示LeakyReLU函數的輸入值，a為一固定的線性系數；

SCC(*)為自校正卷積，其定義如下：

首先將步驟B31的輸出特征F₃分別輸入到一個無激活函數的1×1卷積層：

X₁，X₂＝Conv_1×1(F₃)

其中，Conv_1×1為1×1的卷積層，X₁，X₂分別為經過1×1卷積層得到的通道數減半的特征圖，即若F₃的通道數為C，則X₁，X₂的通道數都為C/2；

接著將X₁，X₂分別送入各自相應的分支操作，其中X₁送入到自校正操作的分支，按如下公式計算：

T₁＝AvgPool_r(X₁)

X′₁＝Up(T₁*K₂)

Y₁＝Y′₁*K₄

其中，AvgPool_r(*)為步長為r的平均池化，Up(*)為上采樣操作，*為卷積操作，為逐元素相乘運算符，+為逐元素相加運算符，σ為sigmoid激活函數；K₂、K₃、K₄為卷積核大小都相同的卷積核；Y₁為自校正操作分支的輸出結果；

同時，X₂送入相應的卷積分支，按如下公式計算：

Y₂＝X₂*K₁

最后，將兩個分支的輸出結果進行通道上的拼接，使其通道數恢復至原特征圖的通道數C，按如下公式計算：

為通道拼接操作，Y為自校正卷積模塊的輸出。