[發明專利]一種基于透射圖引導的單幅圖像多解碼器去霧方法

有效

• 申請號: 202210558654.0
• 申請日: 2022-05-20
• 公開（公告）號: CN115205135B
• 公開（公告）日: 2023-03-17
• 發明（設計）人: 王念;崔智高;蘇延召;李愛華;蘭云偉;張煒
• 申請（專利權）人: 中國人民解放軍火箭軍工程大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/0464;G06N3/09
• 代理公司: 西安創知專利事務所 61213
• 代理人: 馬鳳云

本發明公開了一種基于透射圖引導的單幅圖像多解碼器去霧方法，包括步驟：一、設計基于透射圖引導的去霧網絡對單張的有霧圖像去霧；二、計算損失函數；三、更新權重參數集合；四、調取一張新的有霧圖像，循環步驟一至步驟三，直到訓練達到預設訓練步數或者損失值不再下降或損失值小于0.015即停止訓練，得到去霧網絡的最終權重參數集合，并確定最終的去霧網絡；五、單張實際有霧圖像去霧。本發明基于多尺度的編碼解碼結構進行多監督訓練得到場景的透射圖信息與去霧圖像，并利用每個尺度上恢復的透射圖指導網絡有效去霧，具有較強的去霧效果和泛化能力，能夠有效提高去霧圖像的對比度和視覺效果。

技術領域

本發明屬于單幅圖像去霧技術領域，具體涉及一種基于透射圖引導的單幅圖像多解碼器去霧方法。

背景技術

由于空氣中霧、霾等懸浮粒子的存在,光線在傳播過程中將發生折射而衰減,導致采集的圖像出現顏色偏差、模糊、對比度下降等質量退化現象,這不僅使圖像觀賞性降低,視覺效果變差,更導致物體特征難以辨認,對拍攝圖像的內容理解出現偏差。圖像去霧就是利用特定的方法和手段,建立有霧圖像和無霧圖像之間的特征關系進行去霧處理,進而降低霧霾對圖像視覺效果的影響。單幅圖像去霧算法是指在僅有一張有霧圖像的基礎上進行去霧得到清晰圖像的過程。

目前單張圖像去霧方法主要分為三大類：第一類是基于圖像增強的方法,第二類是基于物理模型的方法,第三類是基于深度學習的方法。

基于圖像增強的方法的本質是對被降質的圖像進行增強,改善圖像的質量。比如常見的直方均衡、對數變換、冪律變換、銳化、小波變換等。通過這些方法增強圖像的對比度或突出圖像的特征。與常見的對比度增強方法不同，另一種常見的圖像增強的方法是基于顏色恒常性和視網膜皮層理論的Retinex方法。該方法將圖像分解為本質圖像與照度圖像的乘積，從而消除因為受霧霾遮擋的光照因素對圖像成像的影響。Retinex方法比傳統的對比度提升方法相比，其得到的去霧圖像具有更好的局部對比度，顏色失真較小。但由于Retinex方法本身也是一個病態問題，只能進行近似估計，因而也在一定程度上影響了圖像去霧效果。

基于物理模型的方法利用大氣散射模型(I＝JT+(1-T)A，其中I表示有霧圖像，J表示無霧圖像)分別估計場景介質透視率T與全局大氣光照A，從而得到清晰的無霧圖像。然而在只有單張有霧圖像條件下，估計T和A也是一個病態問題，只能進行近視估計。利用大氣散射模型將有霧圖像恢復到無霧圖像的方法,總體上可以分為三類:第1類是基于深度信息的方法；第2類是基于大氣光偏振特性的去霧算法；第3類是基于先驗知識的方法。前兩類方法通常都需要人工配合，才能得到較好的結果，而第3類方法是目前比較常見的方法，比如基于暗通道統計先驗的方法，基于顏色統計先驗的方法。這些方法由于是通過統計信息得到的知識，并不能適應所有場景，如基于暗通道先驗知識的方法對天空等較亮的區域估計透視系統就會出現偏差，導致去霧后的圖像整體偏暗。

基于深度學習的方法通過大樣本的合成配對數據集(同一場景下的有霧圖像和無霧圖像)來訓練卷積神經網絡，進而建立有霧圖像與無霧圖像之間的特征關系，具體分為兩類：(1)是非端到端的去霧算法，即利用卷積神經網絡學習并估計出對應的場景投射圖T和全局大氣光A，進而通過大氣散射模型恢復出無霧圖像。這類方法降低了人工先驗知識估計參數造成的誤差，但由于大氣散射模型是一個簡化的霧霾生成模型，該方法無法得到高質量的去霧結果；(2)是端到端的去霧算法，即在不估計T和A的基礎上，直接將去霧過程視為圖像的變換或者是合成過程。其中，基于圖像合成的方法通常利用對比度增強、白平衡、伽瑪矯正等方法對有霧圖像進行預處理得到衍生圖像，然后再通過神經網絡學習置信權重，并用學習的權重將衍生圖像進行融合，從而實現去霧。這種方法對預處理圖像的質量有較高的依賴性，但由于衍生圖像只能間接反映無霧場景下的特征，該方法去霧效果有限；基于圖像變換的方法直接利用卷積神經網絡學習有霧圖像與無霧圖像之間的映射變換函數，從而得到無霧圖像。這種方法通過大樣本的數據集擬合了無霧場景與有霧場景之間的特征關系，但由于真實霧霾圖像缺乏同一場景下無霧圖像的對照，且視覺效果差，這些網絡在合成數據集中訓練，特征多樣性的缺乏導致模型不能很好地去除真實場景中的霧霾。

發明內容