[發明專利]結合數據學習和物理先驗的圖像去霧方法

有效

• 申請號: 201711051929.7
• 申請日: 2017-10-30
• 公開（公告）號: CN107967671B
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 劉日升;樊鑫;侯岷君;程世超
• 申請（專利權）人: 大連理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 大連星海專利事務所有限公司 21208
• 代理人: 裴毓英

1.一種結合數據學習和物理先驗的圖像去霧方法，包括以下步驟，

步驟1.估計霧圖的大氣光參數A，霧圖成像物理模型如下：

I＝Jt+A(1-t)， (1)

其中I為有霧圖像，J為無霧圖像，t為圖像透射率，A表示全局大氣光參數，為一個1×3向量，三個值分別對應有霧圖像I的紅、綠、藍三個通道；包括以下子步驟：

步驟1-1輸入一張有霧圖像I；

步驟1-2對I的三個通道分別進行最小值濾波，取其結果的最大值，得到大氣光參數A，即

A^c＝max(minfilter(I^c))， (2)

其中c∈{r,g,b}，代表紅、綠、藍三個通道，A^c代表在不同通道A的取值，I^c表示有霧圖像I在不同通道的分量；

步驟2.估計有霧圖像I的初始透射率t⁰，包括以下子步驟：

步驟2-1輸入一張有霧圖像I，由式(2)求其初始透射率t⁰：

其中c∈{r,g,b}表示紅、綠、藍顏色通道，為每個顏色通道上大氣光觀測形式的變形，C₀和C₁是與給定圖像相關的兩個常數向量；T_[0,1]表示將t⁰約束在0～1范圍之間；

步驟3.利用深度去霧霾殘差網絡對t⁰進行迭代優化；包括以下子步驟：

步驟3-1由已知的S張無霧圖像和其對應景深由透射率模型

合成網絡學習的目標，即準確透射率式中s為圖片標號，d_s為有霧圖像I_s的景深，即圖中物體到相機的距離，β_s為光衰減系數；將準確透射率和無霧圖像代入霧圖成像模型(1)中合成有霧圖像得到網絡訓練數據

步驟3-2構建由L層殘差模型串聯起來的聚合殘差網絡，以將有霧圖像I映射到相應的透射率t；通過聚合數據驅動模塊D(·)和先驗驅動模塊P(·)來定義網絡，在網絡的輸入和輸出之間建立連接如下：

這里表示每一層的D(·)的傳播參數，是先驗P(I)的權重參數，是對進行迭代優化時的中間估計；每一層的數據驅動模塊如式(6)所示：

其中表示非線性激活函數，為高斯徑向基函數，K表示每一層的過濾器總數，k為過濾器標號，表示卷積運算符，是每次進行非線性激活之后和激活之前的卷積過濾器對，由將旋轉180°獲得；每一層的濾波器半徑為r,濾波器數量和激活函數個數為r²-1；而先驗驅動模塊表示為：

其中為合成有霧圖像I_s的初始透射率，計算方法與步驟2相同；

步驟3-3通過最小化下式的網絡傳輸能量來訓練網絡；

其中L_D表示沿負梯度方向傳播的網絡能量；

定義二次訓練成本函數F(·)來測量深度去霧霾殘差網絡的輸出與準確透射率之間的差異

其中為對應訓練數據中準確透射率的網絡輸出，是每一層網絡中通過學習得到的參數，且先驗的權重參數在這里使用標準鏈式法則計算每個階段訓練成本F(·)相對于參數W^l的梯度，以最小化傳輸能量；

訓練完成后得到學習到的參數W^l；

步驟3-4為使卷積過濾器更好地作用于圖片，將步驟2得到的待恢復霧圖的t⁰的每個邊界向外擴展r+1個像素點，用鏡像反射來填充t⁰，記為以作為網絡輸入，經深度去霧霾殘差網絡的迭代優化后得到輸出透射率t^L；

步驟3-5為避免除數為零，取最終透射率

t＝max(t^L,ε)， (10)

其中ε≥0是一個常數；

步驟4.將步驟1計算得到的大氣光參數A及步驟3得到的透射率t代入霧圖成像模型，由

J＝A+(I-A)/t (11)

求得除霧后的結果J。