[發明專利]一種基于對抗網絡和多尺度密集特征融合圖像去霧方法

在審

• 申請號: 202110209279.4
• 申請日: 2021-02-24
• 公開（公告）號: CN112950498A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 萬超穎
• 申請（專利權）人: 蘇州加乘科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/04
• 代理公司: 北京沃知思真知識產權代理有限公司 11942
• 代理人: 周俊華

1.一種基于對抗網絡和多尺度密集特征融合圖像去霧方法，其特征在于，該去霧方法具體步驟如下：

(1)構建用于圖像去霧條件對抗生成網絡；

(2)使用公開圖像去霧數據集訓練該網絡至收斂；

(3)將訓練好的生成器網絡作為圖像去霧網絡，輸入為有霧圖像，輸出為去霧后的圖像。

2.根據權利要求1所述的一種基于對抗網絡和多尺度密集特征融合圖像去霧方法，其特征在于，步驟(1)所述條件對抗生成網絡包括生成器網絡、判別器網絡和總體目標函數。

3.根據權利要求2所述的一種基于對抗網絡和多尺度密集特征融合圖像去霧方法，其特征在于，所述生成器網絡的結構設計基于U-Net結構，其包括編碼模塊、解碼模塊和特征恢復模塊三部分組成，所述括編碼模塊設置有編碼器，且集成有殘差密集塊RDB模塊和基于反投影技術的DFF模塊，所述解碼模塊設置有解碼器；所述生成器網絡具體運行過程如下：

S1：將網絡的輸入設置為；

S2：將有霧圖像送入編碼器部分，經過卷積操作，將圖像下采樣作為特征圖；

S3：在每個下采樣階段均將特征圖送入1個殘差密集塊RDB模塊進行局部密集特征提取與局部特征融合，再把融合后的特征圖通過一個步長為2的卷積層進行下采樣操作，然后將下采樣后的特征圖送入到DFF模塊，彌補缺失的空間信息；

S4：每一個階段特征圖的數量增加一倍，經過4次降采樣后將的特征圖送入特征恢復模塊；

S5：將特征恢復模塊增強過的特征圖經4次反卷積上采樣到原始輸入大小；

S6：每次上采樣后將輸出與來自編碼器對應層的潛在特征相連接，然后一起輸入到殘差密集塊RDB模塊進行特征細化；

S7：再將細化后的特征輸入DFF模塊進行自適應特征融合。

4.根據權利要求2所述的一種基于對抗網絡和多尺度密集特征融合圖像去霧方法，其特征在于，所述判別器網絡的結構采用PatchGAN，其輸出的是一個N*N的矩陣。

5.根據權利要求2所述的一種基于對抗網絡和多尺度密集特征融合圖像去霧方法，其特征在于，所述總體目標函數采用WGAN-GP損失并修改為條件設定作為對抗訓練損失，如下所示：

將L₁和L₂損失引入上式中得到：

L₁(G)＝E_I,J[∣∣J-G(I)∣∣₁] (2)

L₂(G)＝E_I,J[∣∣J-G(I)∣∣₂]² (3)

結合上述損失，得到最終總體目標函數：

式中：G是生成器網絡結構，D是判別器網絡結構，I是有霧圖像，J是真實圖像，是沿J和生成器網絡結構生成的圖像G(I)之間的直線采樣,λ_GP是權重因子。

6.根據權利要求3所述的一種基于對抗網絡和多尺度密集特征融合圖像去霧方法，其特征在于，所述特征融合采用反投影技術的DFF模塊，所述反投影技術用于通過最小化估計出的高分辨率結果和多個觀測到的低分辨率輸入之間的重構誤差來生成高分辨率內容。

7.根據權利要求3所述的一種基于對抗網絡和多尺度密集特征融合圖像去霧方法，其特征在于，所述特征恢復模塊包含8個殘差密集塊RDB模塊，且每個殘差密集塊RDB模塊包括密集的連接層、局部特征融合和局部殘差學習，其具體運行過程如下：

SS1：通過連續內存機制讀取前一個RDB模塊的狀態然后傳遞到當前RDB模塊的每一層，同時通過局部密集連接充分利用其中的所有層；

SS2：通過一個1*1的卷積層進行局部特征融合，以自適應的保留積累特征；

SS3：通過局部殘差學習進一步改善信息流，提高網絡的表示能力。