[發明專利]一種基于遷移學習用圖像深度信息引導的圖像去霧方法

有效

• 申請號: 202010196971.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111489301B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 梁宇棟;王斌;李德玉;張超
• 申請（專利權）人: 山西大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 程園園

本發明屬于計算機視覺、惡劣自然環境處理技術領域，具體涉及一種基于遷移學習用圖像深度信息引導的圖像去霧方法。本發明通過收集包含圖像深度信息的公開數據集圖像和真實場景有霧圖像，然后制作基于圖像深度引導的圖像去霧數據集，設計并訓練用于估計全局大氣光值、估計圖像深度信息、由有霧圖像深度信息估計大氣光傳播率圖信息和圖像去霧重建的深度神經網絡模型，再結合對抗網絡學習，建立聯合鑒別器網絡，訓練鑒別器網絡定義損失函數，建立聯合鑒別損失項促進整體網絡模型的收斂，訓練整體模型的損失函數，使用訓練并測試集測試整體網絡模型，得到一個訓練完備的端到端整合網絡模型，最終獲得去霧圖像。

技術領域

本發明屬于計算機視覺、惡劣自然環境處理技術領域，具體涉及一種基于遷移學習用圖像深度信息引導的圖像去霧方法。

背景技術

目前處于霧或霾環境下，由于灰塵，煙粒等漂浮于大氣環境中的氣溶膠顆粒極大地吸收與分散了大氣光，導致相機所拍攝圖像的質量嚴重下降。而圖像質量的大幅下降直接影響了許多計算機視覺任務的表現，比如分類與檢測。為了降低由于霧天對圖像質量造成的影響，許多針對圖像的去霧算法已經被提出。霧或霾的存在導致圖像質量的降低可以用以下數學模型來解釋：

I(z)＝J(z)t(z)+A(z)(1-t(z))

t(z)＝e^-βd(z)

其中z代表圖像對應像素點的索引，J代表無霧圖，I代表形成的有霧圖，t代表光線大氣傳播率圖，A代表全局大氣光值圖，d為圖像深度信息，β為模型參數。在單圖像去霧領域，輸入是霧圖I，目標是預測到好的去霧圖J。

從以上數學模型發現存在兩個重要的部分影響了去霧效果，分別是全局大氣光值圖A和光線大氣傳播率圖t，兩者是否準確決定了圖像去霧效果的好壞。現有算法對全局大氣光值圖A的預測已足夠準確，目前圖像去霧的主要方向是得到更為精確的光線大氣傳播率圖t，而現有基于深度學習的圖像去霧方法估計光線大氣傳播率圖t時缺乏對圖像深度信息的使用。

當前圖像去霧的主要方法可以大致分為兩個方向：基于傳統手工設計先驗的方法(下文稱先驗算子的方法)與基于深度學習的方法。基于先驗算子的方法通常會利用各種不同的先驗條件來生成光線大氣傳播率圖，比如暗通道先驗、顏色先驗、霧線先驗等。而基于深度學習的方法通常使用卷積神經網絡直接從輸入霧圖來獲得光線大氣傳播率圖。一旦得到光線大氣傳播率圖與全局大氣光值圖就可以結合數學模型成功將有霧圖復原為去霧圖。然而基于先驗算子的方法最終的去霧效果與基于深度學習的方法有較大差距，目前基于深度學習的方法雖然已經達到一定的去霧效果，但針對濃度較大的霧圖處理效果表現一般，缺乏對圖像深度信息的使用，且在光線大氣傳播率圖預測層面的準確率仍有待提高。

發明內容

針對現有技術忽視圖像深度(image depth)信息對圖像去霧算法的引導作用這一局限性問題，本發明提供了一種基于遷移學習用圖像深度信息引導的圖像去霧方法。

為了達到上述目的，本發明采用了下列技術方案：

一種基于遷移學習用圖像深度信息引導的圖像去霧方法，包括以下步驟：

步驟1，收集包含圖像深度信息的公開數據集圖像和真實場景有霧圖像，然后制作基于圖像深度信息引導的圖像去霧數據集，將基于圖像深度信息引導的圖像去霧數據集分為訓練集、驗證集和測試集；

步驟2，設計并訓練用于估計全局大氣光值圖A的深度神經網絡模型，輸入有霧圖像I，輸出全局大氣光值圖A，同時設計估計全局大氣光值圖A的深度神經網絡模型的參數初始化策略，訓練優化方案和損失函數；

步驟3，設計并訓練用于估計圖像深度信息d的深度神經網絡模型，采用遷移學習將無霧圖像深度信息估計模型遷移到有霧圖像深度信息估計任務，輸入有霧圖像I，輸出圖像深度信息d，同時設計估計圖像深度信息d的深度神經網絡模型的參數初始化策略，訓練優化方案與損失函數；