[發明專利]一種基于遷移學習用圖像深度信息引導的圖像去霧方法

有效

• 申請號: 202010196971.3
• 申請日: 2020-03-19
• 公開（公告）號: CN111489301B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 梁宇棟;王斌;李德玉;張超
• 申請（專利權）人: 山西大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06N3/04;G06N3/08
• 代理公司: 太原申立德知識產權代理事務所(特殊普通合伙) 14115
• 代理人: 程園園

1.一種基于遷移學習用圖像深度信息引導的圖像去霧方法，其特征在于：包括以下步驟：

步驟1，收集包含圖像深度信息的公開數據集圖像和真實場景有霧圖像，然后制作基于圖像深度引導的圖像去霧數據集，將基于圖像深度引導的圖像去霧數據集分為訓練集、驗證集和測試集；

步驟2，設計并訓練用于估計全局大氣光值圖A的深度神經網絡模型，輸入有霧圖像I，輸出全局大氣光值圖A，同時設計估計全局大氣光值圖A的深度神經網絡模型的參數初始化策略，訓練優化方案和損失函數；

步驟3，設計并訓練用于估計圖像深度信息d的深度神經網絡模型，采用遷移學習將無霧圖像深度信息估計模型遷移到有霧圖像深度信息估計任務，輸入有霧圖像I，輸出圖像深度信息d，同時設計估計圖像深度信息d的深度神經網絡模型的參數初始化策略，訓練優化方案與損失函數；

步驟4，采用對抗生成學習，設計并訓練由有霧圖像深度信息d估計光線大氣傳播率圖t的深度神經網絡模型，輸入圖像深度信息d，輸出有霧圖像的光線大氣傳播率圖t，同時設計由有霧圖像深度信息d估計光線大氣傳播率圖t的深度神經網絡模型的參數初始化策略，訓練優化方案與損失函數；

步驟5，設計并訓練圖像去霧重建的深度神經網絡模型，輸入有霧圖像I、圖像深度信息d、全局大氣光值圖A和估計的光線大氣傳播率圖t，輸出重建去霧后的圖像，采用對抗生成學習，建立聯合鑒別器網絡，根據聯合鑒別損失函數訓練鑒別器網絡，促進整體網絡模型的收斂；

步驟6，使用真實場景有霧圖像數據集，輸入有霧圖像I，無霧圖像J，訓練并測試整體網絡模型，得到一個訓練完備的端到端整合網絡模型，最終獲得去霧圖像；

所述步驟3中估計圖像深度信息d的深度神經網絡模型損失函數的數學表達如下：

其中λ_d，λ_g為平衡損失比例的參數，為由端到端網絡生成的預測圖像深度信息；為預測圖像深度信息與真實圖像深度信息之間基于點到點之間的L1損失函數：

其中，d_p和分別表示真實圖像深度信息和預測圖像深度信息在像素p的深度值；p表示圖像深度信息像素的索引；

為預測圖像深度信息與真實圖像深度信息之間與梯度相關的損失函數：

其中g_x與g_y分別代表兩幅圖像在水平與垂直方向的梯度；

為二張圖像關于結構相似性的度量損失函數：

所述步驟4中損失函數的數學表達如下：

其中L_E代表全局邊緣保留損失，λ_E,g，λ_E,f皆為平衡全局損失的權重參數，代表L2損失函數，L_E,g代表水平與垂直兩個方向的梯度損失：

其中H_x和H_y分別表示沿著行與列來計算圖像梯度的操作函數，G_t表示由模型預測深度信息生成光線大氣傳播率圖的生成器函數，G_d表示生成圖像深度信息的生成器函數，ω和h表示生成器輸出特征圖的寬和高，即真實光線大氣傳播率圖t的寬和高，z表示像素的索引；

L_E,f代表特征損失：

L_E,f＝||V_1f(G_t(G_d(I)))-V_1f(t)||₂+||V_2f(G_t(G_d(I)))-V_2f(t)||₂

其中V_1f，V_2f表示不同的提取特征的CNN網絡結構，損失函數L_E,f采用已訓練好的VGG-16網絡模型來提取特征，用第一個和第二個非線性輸出層的輸出分別作為V_1f，V_2f的輸出結果。

2.根據權利要求1所述的一種基于遷移學習用圖像深度信息引導的圖像去霧方法，其特征在于：所述步驟1中基于圖像深度信息引導的圖像去霧數據集是由有霧圖像I、無霧圖像J、圖像深度信息d、全局大氣光值圖A和光線大氣傳播率圖t數據構成。