[發明專利]一種基于亞像素和條件對抗生成網絡的單幅圖像去霧方法

在審

• 申請號: 201810986230.8
• 申請日: 2018-08-28
• 公開（公告）號: CN109300090A
• 公開（公告）日: 2019-02-01
• 發明（設計）人: 張盛平;孫嘉敏;呂曉倩;樸學峰;董開坤;張維剛;孫鑫
• 申請（專利權）人: 哈爾濱工業大學（威海）
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 濟南誠智商標專利事務所有限公司 37105
• 代理人: 鄭憲常

本發明公開了一種基于亞像素和條件對抗生成網絡的單幅圖像去霧方法，包括以下步驟：獲取原始無霧圖像數據集，依據霧天成像模型合成有霧數據集；將待處理的有霧圖像輸入生成器G，所述生成器G的網絡結構設置有跳層連接，經過編碼輸出尺寸逐步減少的特征圖，解碼階段使用反卷積與亞像素分別獲得各自的特征圖后使用卷積對特征圖進行操作，獲得生成器輸出無霧圖像；將生成器G輸出的無霧圖像與原始無霧圖像輸入判別器D，判斷生成器D輸出無霧圖像是否為真；對生成器G和判別器D同時進行對抗約束，計算對抗損失和L1損失，依據隨機梯度下降的原則進行反向傳播更新生成器G和判別器D的參數，當模型的總體損失收斂時，模型訓練完成。

技術領域

本發明涉及圖像處理和模式識別技術領域，尤其是一種基于亞像素和條件對抗生成網絡的單幅圖像去霧方法。

背景技術

由于大氣中的水汽和固體顆粒物折射的存在，使得拍攝的圖像視覺上呈現有霧的現象。圖像去霧旨在從一張有霧的圖像恢復出干凈的無霧圖像。高質量的無霧圖像的生成對后期開展分割、檢測和識別等工作十分有利。有霧圖像的表達可以模擬為：

I(x)＝J(x)t(x)+A(1-t(x)) (1)

其中I(x)和J(x)是觀察到的有霧圖像和清晰的場景輻射，A是全局大氣光，t(x)被稱作介質透射率。假設霧的濃度是均勻的，我們可以表示t(x)＝e^-βd(x)，其中β是介質消光系數,d(x)是場景深度。在有效的求解了t(x)和A之后，就可以復原出無霧圖像J(x)：

其中的max{0.1,t(x)}用于控制t(x)過小接近于0的情況。

目前已經提出很多方法來解決圖像去霧的問題，主要分為手工特征提取方法和基于深度學習的方法。在基于手工特征方面，Tan通過使圖像的對比度最大化來估計大氣散射光，大大提高了圖像的視覺效果。He等人利用暗通道先驗來恢復t(x)，取得了很好的效果。基于深度學習方面，任文琦等人提出了基于多尺度卷積網絡估計t(x)，再還原出原圖J(x)的方法，稱為MSDNN。Boyi Li等人則提出將A和t(x)通過數學變換以進行聯合估計的方法，稱為AOD-Net。但這些方法主要存在兩個問題。第一，手工方法雖然可以有效的進行圖像去霧，但是大多數的手工方法對于圖像的天空區域以及亮度接近于全局大氣光A的區域處理較差。第二，基于深度學習方法的去霧方法雖然比傳統方法取得的效果更好，但是這些方法(包括傳統方法)的主要處理目標在于t(x)，而忽略全局大氣光A，如果t(x)的估算不恰當，則圖像整體的去霧效果也不夠好。雖然近些年也出現完全端到端的去霧方法，如AOD-Net，但是其主要思想還是在處理t(x)，并不能很好的聯合估計t(x)和A。

發明內容

本發明的目的是提供一種基于亞像素和條件對抗生成網絡的單幅圖像去霧方法，使用條件對抗生成網絡(cGAN)作為網絡的基礎架構，同時在反卷積的基礎上引入亞像素作為上采樣操作以生成質量更高的無霧圖像。

為實現上述目的，本發明采用下述技術方案：

一種基于亞像素和條件對抗生成網絡的單幅圖像去霧方法，包括以下步驟：

獲取原始無霧圖像數據集，依據霧天成像模型合成有霧數據集；

將待處理的有霧圖像輸入生成器G，所述生成器G的網絡結構設置有跳層連接，經過編碼輸出尺寸逐步減少的特征圖，解碼階段使用反卷積與亞像素分別獲得各自的特征圖后使用卷積對特征圖進行操作，獲得生成器輸出無霧圖像；

將生成器G輸出的無霧圖像與原始無霧圖像輸入判別器D，判斷生成器D輸出無霧圖像是否為真；

對生成器G和判別器D同時進行對抗約束，計算對抗損失和L1損失，依據隨機梯度下降的原則進行反向傳播更新生成器G和判別器D的參數，當模型的總體損失收斂時，模型訓練完成。