[發(fā)明專利]一種基于雙目圖像的去霧方法

有效

• 申請?zhí)枺?/td>: 202010300709.9
• 申請日: 2020-04-16
• 公開（公告）號: CN111583131B
• 公開（公告）日: 2022-08-05
• 發(fā)明（設(shè)計）人: 聶晶;龐彥偉
• 申請（專利權(quán)）人: 天津大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 天津市北洋有限責任專利代理事務(wù)所 12201
• 代理人: 程毓英

1.一種基于雙目圖像的去霧方法，包括下列步驟：

第一步，構(gòu)建雙目有霧的圖片數(shù)據(jù)庫，對于已有數(shù)據(jù)庫的圖片，計算出不連續(xù)的左圖的距離圖，利用Image Inpainting將左圖距離圖補全，利用左右圖的視差關(guān)系對應(yīng)求得右圖不連續(xù)的距離圖，繼續(xù)使用Image Inpainting補全右圖的距離圖，在已知左右距離圖的前提下，根據(jù)大氣散射模型，設(shè)置三種霧的濃度，隨機從[0.7,1]中選取一個值作為大氣光參數(shù)，合成雙目有霧數(shù)據(jù)集，并將雙目有霧數(shù)據(jù)集劃分為訓(xùn)練數(shù)據(jù)集和測試數(shù)據(jù)集；訓(xùn)練集的標簽為清晰的雙目圖像和對應(yīng)圖片的左右透射圖及大氣光參數(shù)；

第二步，分別設(shè)計透射圖估計網(wǎng)絡(luò)和大氣光參數(shù)預(yù)測網(wǎng)絡(luò)：

透射圖估計網(wǎng)絡(luò)包含卷積參數(shù)共享的特征提取模塊，雙目傳輸模塊和透射圖預(yù)測模塊，卷積參數(shù)共享的特征提取模塊是一個encoder-decoder的結(jié)構(gòu)，先利用5個卷積層與3個的池化層交替連接，進行下采樣；再利用3個雙線性插值層與4個卷積層交替順次連接，進行上采樣恢復(fù)為原圖大小；同分辨率的卷積層輸出的特征利用跨連接進行融合，得到魯棒有效的特征；將有霧的左圖和右圖輸入兩個相同的，卷積參數(shù)共享的特征提取模塊，得到左圖和右圖的特征，然后將左圖和右圖的特征輸入到雙目傳輸模塊中, 通過學(xué)習(xí)水平方向的關(guān)系矩陣，利用左右圖的視差關(guān)系更好地融合深度信息，更準確地預(yù)測透射圖；

大氣光參數(shù)預(yù)測網(wǎng)絡(luò)，只輸入有霧的左圖，網(wǎng)絡(luò)為encoder-decoder結(jié)構(gòu)，經(jīng)過4個的卷積層與2個池化層交替依次連接，下采樣4倍；接著利用2個雙線性上采樣層與2個卷積層交替順次連接，將特征圖恢復(fù)值原圖大小，通過一個3×3卷積預(yù)測大氣光參數(shù)；

第三步，利用第一步所獲得的雙目有霧數(shù)據(jù)集對第二步設(shè)計的透射圖估計網(wǎng)絡(luò)和大氣光參數(shù)預(yù)測網(wǎng)絡(luò)進行訓(xùn)練：使用MSE loss損失函數(shù)對預(yù)測的左圖的透射圖，右圖的透射圖，大氣光參數(shù)計算損失值；同時用MSE loss損失函數(shù)對根據(jù)大氣散射模型恢復(fù)出的左圖和右圖計算損失值，這兩個損失值使得整個網(wǎng)絡(luò)能夠聯(lián)合優(yōu)化，訓(xùn)練出一個基于雙目圖像的去霧模型。