[發明專利]一種基于條件生成對抗網絡的單幅圖像去霧方法

在審

• 申請號: 202010217718.1
• 申請日: 2020-03-25
• 公開（公告）號: CN113450261A
• 公開（公告）日: 2021-09-28
• 發明（設計）人: 岑翼剛;張悅;闞世超;童憶;安高云
• 申請（專利權）人: 江蘇翼視智能科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于條件生成對抗網絡的單幅圖像去霧方法，其特征在于：包括以下步驟：

步驟1：所述條件生成對抗網絡由一個生成器和一個判別器構成；輸入有霧圖像到所述條件生成對抗網絡中的生成器中，所述生成器由8個U型殘差網絡級聯組成；對所述生成器進行訓練得到去霧的生成器模型，再次輸入有霧圖片經過訓練完成后的所述生成器輸出得到去霧后圖像；

步驟2：將步驟1中的有霧圖像、對應的原始清晰圖像、去霧后圖像一起輸入所述條件生成對抗網絡中的判別器中，得到判別結果；所述判別器由4個卷積層、1個空間金字塔池化層和1個全連接層組成；

步驟3：訓練整個所述條件生成對抗網絡，利用所述條件生成對抗網絡中的生成器網絡對有霧圖像進行去霧。

2.根據權利要求1所述的基于條件生成對抗網絡的單幅圖像去霧方法，其特征在于：

所述步驟1中的有霧圖像統一縮放至512×512大小，并隨機進行水平翻轉，然后將處理過的所述有霧圖像輸入所述生成器中；

所述步驟1中的生成器由8個U型殘差網絡級聯組成，所述U型殘差網絡由U型網絡和殘差網絡共同構成，同時所述U型殘差網絡中的反卷積輸出特征圖大小和U型殘差網絡的輸入特征圖大小一致，具體步驟包括：

步驟(1.1)：將所述U型殘差網絡的輸入特征圖利用大小為5×5的卷積核，步長為2進行卷積，對卷積后的特征圖利用大小為5×5、步長為2的卷積核進行反卷積，將所述U型殘差網絡的輸入特征圖和反卷積后的圖像在通道維度進行拼接，得到特征圖A；本步驟中的卷積和反卷積之前都用lrelu函數進行激活；

步驟(1.2)：將所述步驟(1.1)中得到的特征圖A利用大小為3×3的卷積核，步長為1進行卷積，輸出的通道數為輸入后的一半，得到特征圖B；本步驟中的卷積之前用lrelu函數進行激活；

步驟(1.3)：用所述U型殘差網絡的輸入特征圖減去所述步驟(1.2)中得到的特征圖B，作為所述U型殘差網絡的輸出結果；

步驟(1.4)：將連續8個所述U型殘差網絡結構級聯組成所述生成器。

3.根據權利要求1所述的基于條件生成對抗網絡的單幅圖像去霧方法，其特征在于：

所述步驟2中的判別器由4個卷積層、1個空間金字塔池化層和1個全連接層組成，具體步驟包括：

步驟(2.1)：將所述對應的原始清晰圖像和有霧圖像拼接作為所述判別器的輸入真實圖像，將所述生成器輸出的去霧后圖像和對應的有霧圖像拼接作為所述判別器的輸入假圖像；

步驟(2.2)：將所述步驟(2.1)的輸入圖像輸入到所述判別器中，通過所述4個卷積層；本步驟中每個卷積層的卷積核大小為5×5，步長為2，每個卷積層后都有批歸一化和lrelu函數進行激活；

步驟(2.3)：將所述步驟(2.2)得到的特征圖通過所述空間金字塔池化層后得到固定長度的特征；本步驟中的空間金字塔由1×1，2×2，3×3和4×4的網格構成，最終的特征長度為特征圖數量的30倍；

步驟(2.4)：將所述步驟(2.3)得到的特征輸入所述全連接層，得到分類的輸出；所述分類識別判斷輸入是真實的圖像還是生成的圖像。

4.根據權利要求1～3中任一所述的基于條件生成對抗網絡的單幅圖像去霧方法，其特征在于：

訓練所述生成器的損失函數采用交叉熵損失和L1損失，同時引入PSNR損失和SSIM損失；PSNR損失為1與所述原始清晰圖像和去霧后圖像之間的PSNR值除以40的差，SSIM損失為1與所述原始清晰圖像和去霧后圖像之間的SSIM值之差；計算所有損失的和，反向傳播更新所述生成器；

訓練所述判別器的損失函數采用交叉熵損失函數，計算交叉熵損失反向傳播更新所述判別器；

在訓練時，所述判別器更新一次的同時，所述生成器更新四次。

5.根據權利要求1所述的基于條件生成對抗網絡的單幅圖像去霧方法，其特征在于：

所述步驟3中的去霧只適用所述生成器對輸入的有霧圖像進行去霧，所述判別器只參與訓練過程，包括：

步驟(3.1)：用訓練好的模型參數初始化所述生成器網絡的參數；

步驟(3.2)：將有霧圖像輸入到步驟(3.1)初始化后的所述生成器網絡，得到去霧后的圖像。