[發明專利]基于雙向GAN網絡的去霧方法及雙向GAN網絡模型

在審

• 申請號: 202011526195.5
• 申請日: 2020-12-22
• 公開（公告）號: CN114663291A
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 王中風;蘇天祺;王美琪;陳思依;林軍
• 申請（專利權）人: 南京大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/82
• 代理公司: 北京弘權知識產權代理有限公司 11363
• 代理人: 逯長明;許偉群

1.一種基于雙向GAN網絡的去霧方法，其特征在于，所述去霧方法包括：

提取待去霧圖片中不同像素對應的深度信息；

根據所述深度信息，對所述待去霧圖片進行深度處理；

將深度處理后的待去霧圖片輸入至預先構建的雙向GAN網絡模型中，所述雙向GAN網絡模型包括輸入模塊、生成模塊及判別模塊；所述輸入模塊包括清晰圖輸入端口及霧圖輸入端口，所述生成模塊包括第一生成單元及第二生成單元，所述判別模塊包括第一判別器及第二判別器；所述清晰圖輸入端口、所述第一生成單元及所述第一判別器依次連接，用于針對清晰圖進行特征提取及重建，所述霧圖輸入端口、所述第二生成單元及所述第二判別器依次連接，用于針對霧圖進行特征提取及重建；所述第一生成單元包括依次連接的第一編碼器、共享潛在空間及第一解碼器，所述第二生成單元包括依次連接的第二編碼器、所述共享潛在空間及第二解碼器；所述共享潛在空間用于存儲高層特征，并將所述高層特征輸出至所述第一解碼器及所述第二解碼器，所述高層特征包括所述第一編碼器針對清晰圖提取的高層特征以及所述第二編碼器針對霧圖提取的高層特征；所述雙向GAN網絡模型的訓練集及驗證集中均包括成對的清晰圖及霧圖；

獲取所述雙向GAN網絡模型輸出的去霧圖片。

2.根據權利要求1所述的基于雙向GAN網絡的去霧方法，其特征在于，所述提取待去霧圖片中不同像素對應的深度信息，包括：

對所述待去霧圖片進行格式轉換，提取出所述待去霧圖片的亮度和飽和度；

根據所述亮度和飽和度，生成所述待去霧圖片中不同像素對應的深度信息。

3.一種雙向GAN網絡模型，其特征在于，所述雙向GAN網絡模型包括輸入模塊、生成模塊及判別模塊；

所述輸入模塊包括清晰圖輸入端口及霧圖輸入端口，所述生成模塊包括第一生成單元及第二生成單元，所述判別模塊包括第一判別器及第二判別器；

所述清晰圖輸入端口、所述第一生成單元及所述第一判別器依次連接，用于針對清晰圖進行特征提取及重建，所述霧圖輸入端口、所述第二生成單元及所述第二判別器依次連接，用于針對霧圖進行特征提取及重建；

所述第一生成單元包括依次連接的第一編碼器、共享潛在空間及第一解碼器，所述第二生成單元包括依次連接的第二編碼器、所述共享潛在空間及第二解碼器；

所述共享潛在空間用于存儲高層特征，并將所述高層特征輸出至所述第一解碼器及所述第二解碼器，所述高層特征包括所述第一編碼器針對清晰圖提取的高層特征以及所述第二編碼器針對霧圖提取的高層特征；

所述雙向GAN網絡模型的訓練集及驗證集中均包括成對的清晰圖及霧圖。

4.根據權利要求3所述的雙向GAN網絡模型，其特征在于，所述第一編碼器及所述第二編碼器分別包括依次連接的第一卷積塊、第二卷積塊及第一耦合殘差塊；

所述第一解碼器及所述第二解碼器分別包括依次連接的第二耦合殘差塊、第一步長卷積塊及第二步長卷積塊；

所述第一耦合殘差塊的輸出端接至所述共享潛在空間的輸入端，所述共享潛在空間的輸出端接至所述第二耦合殘差塊的輸入端；

所述第一卷積塊的輸出端跳變連接至所述第二步長卷積塊的輸入端；

所述第二卷積塊的輸出端跳變連接至所述第一步長卷積塊的輸入端。

5.根據權利要求4所述的雙向GAN網絡模型，其特征在于，所述第一耦合殘差塊及所述第二耦合殘差塊分別由多個子殘差塊級聯組成；

任一級所述子殘差塊包括依次連接的第一卷積層、激活函數層及第二卷積層，用于處理上一級子殘差塊的輸出結果以及上上一級子殘差塊的輸出結果，并把處理結果輸出至下一級子殘差塊以及下下一級子殘差塊。

6.根據權利要求3所述的雙向GAN網絡模型，其特征在于，所述第一判別器及所述第二判別器均包括三層判別網絡及一層粒度判別網絡，任一層所述判別網絡包含三個卷積層和一個激活函數層。

7.根據權利要求3所述的雙向GAN網絡模型，其特征在于，所述雙向GAN網絡模型通過以下損失函數進行優化：生成對抗損失函數、MSE損失函數及總變分損失函數。