[發明專利]基于GAN網絡的水下退化圖像增強的方法

在審

• 申請號: 202010057181.7
• 申請日: 2020-01-17
• 公開（公告）號: CN111260584A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 胡永利;王立國;張勇;王博岳;員嬌嬌;尹寶才
• 申請（專利權）人: 北京工業大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 吳蔭芳

1.基于GAN網絡的水下退化圖像增強的方法，其特征在于：

(1)構建數據集，其中訓練集包括X、Y和E三種類型，X為水下退化圖像，Y為水下清晰圖像，E為Y中的圖像做了高斯模糊后的圖像，X類型圖像和Y類型圖像之間不存在一對一的關系；

(2)網絡構建：本方法的網絡架構由兩個生成器網絡和兩個判別器網絡組成，其中，生成器G用于將水下退化圖像x轉化為清晰圖像G(x)同時也可以將F(y)恢復為G(F(y))，生成器F用于將清晰圖像y轉換為退化圖像F(y)同時也可以將G(x)恢復為F(G(x))，兩個生成器的網絡結構相同但參數不同；判別器D_Y用于判別G生成的G(x)是否為清晰圖像，判別器D_X用于判別F生成的F(y)是否為水下退化圖像，判別器的兩個網絡結構相同參數不同；

(3)網絡訓練：首先訓練生成器，當達到訓練次數后，生成器參數不變，再訓練判別器，當判別器達到訓練次數后，判別器參數不變，繼續訓練生成器，如此循環往復，直到最小化損失函數完成對網絡的優化訓練；

(4)利用訓練完成的生成器G生成水下退化圖像的清晰圖像。

2.根據權利要求1所述的基于GAN網絡的水下退化圖像恢復的方法，其特征在于：所述的生成器由編碼器、轉換器和解碼器構成，其中編碼器由3個依次相連的卷積層組成，轉換器由3個相同的DenseNet Block依次相連組成，解碼器由兩個反卷積核和一個卷積依次相連組成。

3.根據權利要求2所述的基于GAN網絡的水下退化圖像恢復的方法，其特征在于：所述的DenseNet Block由1個Transition和8個conv_block依次相連組成。

4.根據權利要求1所述的基于GAN網絡的水下圖像增強的方法，其特征在于：所述的判別器網絡是5個全卷積層組成的馬爾可夫判別器，判別器最后輸出矩陣的均值作為real/fake的輸出。

5.根據權利要求1所述的基于GAN網絡的水下退化圖像恢復的方法，其特征在于：

生成器完整損失函數如公式7所示

其中，生成器G的損失函數進一步如公式1所示：

在公式1中E表示期望，x屬于水下退化圖像X數據集，P_data(x)表示X數據集中數據的分布；

生成器F的損失函數進一步如公式2所示：

在公式2中，y屬于水下清晰圖像Y數據集，Pdata(y)表示Y數據集中數據的分布；

循環一致性損失函數進一步如公式5所示：

循環一致性損失包括兩部分，x與F(G(x))之間的循環一致性損失和y與G(F(y))之間的循環損失，用1范數來衡量，分別如下公式的第一項和第二項；

內容損失函數進一步如公式6所示：

內容損失函數包括兩部分，x與G(x)之間的內容損失和y與F(y)之間的內容損失，用1范數來衡量，分別如下公式的第一項和第二項：

||VGG(G(x))-VGG(x)||₁表示x圖像和G(x)圖像由預先訓練的VGG-19網絡的conv4_4層提取的高級特征之間的1范數，||VGG(F(y))-VGG(y)||₁表示y圖像和F(y)圖像由預先訓練的VGG-19網絡的conv4_4層提取的高級特征之間的1范數；

6.根據權利要求1所述的基于GAN網絡的水下退化圖像恢復的方法，其特征在于：

所述完整判別器的損失函數如公式8所示：

其中，判別器D_Y的損失函數進一步如公式3所示：

在公式3中E表示期望，e屬于水下清晰圖像經過高斯模糊之后的E數據集中的圖像，P_data(e)表示E數據集中數據的分布，G^*表示判別器D_Y在訓練時生成器G的生成能力為固定的值；

判別器D_X的損失函數進一步如公式4所示：

在公式4中，F^*表示判別器D_X在訓練時生成器F的生成能力為固定的值。