[發明專利]一種基于優化算法結合殘差網絡的單幅圖像除雨方法

在審

• 申請號: 201910308522.0
• 申請日: 2019-04-17
• 公開（公告）號: CN110111267A
• 公開（公告）日: 2019-08-09
• 發明（設計）人: 薛昕惟;劉日升;王祎;樊鑫
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04
• 代理公司: 大連理工大學專利中心 21200
• 代理人: 梅洪玉

1.一種基于優化算法結合殘差網絡的單幅圖像除雨方法，其特征在于，所述的方法使用ADMM算法求解圖像除雨模型，并分別嵌入殘差網絡和降噪算法來替代圖像背景先驗和雨先驗，迭代后將雨天拍攝的圖像分成無雨清晰背景部分和雨跡部分；圖像除雨模型求解的具體步驟如下：

步驟一、將圖像除雨問題建模為如下優化問題：

其中，表示優化后的背景；表示優化后的雨跡；O表示觀察到的有雨圖像，B表示待求的無雨清晰圖像，R表示O與B的殘差，即雨跡，表示背景先驗，Ψ(R)表示雨先驗，F表示F-范數；

步驟二、引入兩個臨時變量P和Q，將公式(1)的無約束優化問題轉變成如公式(2)的有約束優化問題：

其中，表示優化后的臨時變量P；表示優化后的臨時變量Q；

步驟三、用ADMM算法求解有約束優化問題：

首先求解公式(2)的拉格朗日方程：

其中，S，T表示對偶變量；ρ_B、ρ_R表示懲罰因子；

公式(3)的迭代求解過程為：

S^k+1＝S^k+(B^k+1-P^k+1) (7)

T^k+1＝T^k+(R^k+1-Q^k+1) (8)

其中，k表示迭代的次數，表示優化后的對偶變量；公式(4)表示去雨模型的迭代求解過程；公式(5)表示背景先驗，背景先驗描述雨天氣圖像中的清晰背景，結合殘差網絡具有描述特征的能力，可以通過訓練一個從O到B的神經網絡來代替公式(5)的迭代；公式(6)表示雨先驗，雨跡本身非常稀疏，是接近0的，描述為而是一個包含部分背景噪聲的雨圖，所以公式(6)被當作一個降噪步驟；所以公式(5)和(6)分別被替換成如下公式：

其中，H表示殘差網絡，D_σ表示基于導向濾波的降噪算法。

2.根據權利要求1所述的方法，其特征在于，所述步驟三中，通過神經網絡得到背景先驗，該網絡的輸入是有雨圖像X，輸出是清晰圖像Y，目標函數定義為：

其中，L表示神經網絡的目標函數，N是訓練圖像的數目，i表示訓練圖像的編號，h(·)是殘差網絡，W和b是神經網絡的權重和偏置項，基礎的神經網絡結構表達為：

X¹＝σ(BN(W¹*X⁰+b¹)),

X^2m＝σ(BN(W^2m*X^2m-1+b^2m)),

X^2m+1＝σ(BN(W^2m+1*X^2m+b^2m+1))+X^2m-1,

Y_approx＝BN(W^m*X^m-1+b^m) (12)

其中，m表示神經網絡的每一層，這里的M是神經網絡的總層數；*表示卷積操作，BN(·)表示緩解內部協變量偏移的批量標準化函數，σ(·)表示ReLu函數，Y_approx表示標準化后的值；

對神經網絡的第一層，使用大小為c×s₁×s₁×a₁的濾波器來產生a₁個特征圖，s表示濾波器的尺寸，c表示圖像的顏色通道，彩色圖的顏色通道是3，灰度圖的顏色通道是1；從第二層到第M-1層，濾波器的尺寸為a₁×s₂×s₂×a₂，對于網絡的最后一層，使用大小為a₂×s₃×s₃×c的濾波器來復原負殘差。