[發明專利]一種基于亞像素和條件對抗生成網絡的單幅圖像去霧方法

在審

• 申請號: 201810986230.8
• 申請日: 2018-08-28
• 公開（公告）號: CN109300090A
• 公開（公告）日: 2019-02-01
• 發明（設計）人: 張盛平;孫嘉敏;呂曉倩;樸學峰;董開坤;張維剛;孫鑫
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 鄭憲常

1.一種基于亞像素和條件對抗生成網絡的單幅圖像去霧方法，其特征是，包括以下步驟：

獲取原始無霧圖像數據集，依據霧天成像模型合成有霧數據集；

將待處理的有霧圖像輸入生成器G，所述生成器G的網絡結構設置有跳層連接，經過編碼輸出尺寸逐步減少的特征圖，解碼階段使用反卷積與亞像素分別獲得各自的特征圖后使用卷積對特征圖進行操作，獲得生成器輸出無霧圖像；

將生成器G輸出的無霧圖像與原始無霧圖像輸入判別器D，判斷生成器G輸出的無霧圖像是否為真；

對生成器G和判別器D同時進行對抗約束，計算對抗損失和L1損失，依據隨機梯度下降的原則進行反向傳播更新生成器G和判別器D的參數，當模型的總體損失收斂時，模型訓練完成。

2.如權利要求1所述的方法，其特征是，所述獲取原始無霧圖像數據集，依據霧天成像模型合成有霧數據集，包括：

收集室內和室外的無霧圖像，統一裁剪至256×256的尺寸，并根據室內和室外兩種類別進行分類；

使用公式I(x)＝J(x)t(x)+A(1-t(x))在原始無霧數據集的基礎上合成有霧數據集，其中，I(x)是有霧圖像，J(x)是無霧圖像，A是全局大氣光，t(x)是介質透射率。

3.如權利要求1所述的方法，其特征是，所述跳層連接為：解碼階段的每一次上采樣的輸入都是上一步上采樣輸出的特征圖和與之相同尺度的編碼階段的特征圖的聯合。

4.如權利要求1所述的方法，其特征是，所述經過編碼輸出尺寸逐步減少的特征圖，包括：

編碼階段采用下采樣操作，包括8個卷積，每個卷積核大小設置為4×4，步長尺寸為1×1，生成的特征圖尺寸逐步減少，每次減少為上一步的同時每一步輸出的特征圖維度分別為[128,64,32,16,8,4,2,1]。

5.如權利要求1所述的方法，其特征是，所述解碼階段使用反卷積與亞像素分別獲得各自的特征圖后使用卷積對特征圖進行操作，包括：

通過將卷積核轉置，與卷積后的結果再做一遍卷積，獲得卷積前尺度的特征圖；

對當前維度的特征圖進行周期性重排，將r²維度的低分辨率特征拼接為高分辨率圖像，r為放大倍數；

經過反卷積和亞像素分別獲得放大后的特征圖之后，再使用一個1×1的卷積對特征圖進行操作。

6.如權利要求1所述的方法，其特征是，所述將生成器G輸出的無霧圖像與原始無霧圖像輸入判別器D，判斷生成器D輸出無霧圖像是否為真，包括：

將生成器G輸出的無霧圖像與原始無霧圖像輸入五層的卷積構成的70×70大小的局部判別器，卷積核大小全部為4×4，前三個卷積的步長為2×2，最后兩個的步長大小為1×1，前四個的激活函數都是ReLU，最后的激活函數為sigmoid，用于輸出判別的數值，數值在[0,1]之間，數值的輸出結果表示生成的圖像是否為真。

7.如權利要求1所述的方法，其特征是，所述對生成器G和判別器D同時進行對抗約束，計算對抗損失和L1損失，包括：

條件對抗生成網絡的目標函數定義為：

L_cGAN(G,D)＝E_x,y[logD(x,y)]+E_x,z[log(1-D(x,D(x,G(x,z)] (3)

L1損失函數定義如下：

L_L1(G)＝E_x,y,z[||y-G(x,z)||₁] (4)

最終的生成器G與判別器D的損失函數定義如公式(5)所示，其中λ＝100：

8.如權利要求1所述的方法，其特征是，所述依據隨機梯度下降的原則進行反向傳播更新生成器G和判別器D的參數，包括：使用最小化隨機梯度下降，并且使用Adam優化器，其中學習率設置為0.002。