[發明專利]水下圖像增強生成對抗網絡的訓練方法、介質及裝置

有效

• 申請號: 202010158049.5
• 申請日: 2020-03-09
• 公開（公告）號: CN111461997B
• 公開（公告）日: 2022-07-19
• 發明（設計）人: 趙彩丹;鄧均杰;陳凌俊
• 申請（專利權）人: 廈門大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06N3/04;G06N3/08;G06T3/40
• 代理公司: 廈門創象知識產權代理有限公司 35232
• 代理人: 崔建鋒;陳文戎

1.一種水下圖像增強生成對抗網絡的訓練方法，其特征在于，包括以下步驟;

獲取原始圖片，并將所述原始圖片輸入到水下圖像失真模型，以生成所述原始圖片對應的第一水下圖片；

對所述第一水下圖片進行數據擴充，以生成多個第二水下圖片，并根據所述原始圖片和所述第二水下圖片生成對應每個所述第二水下圖片的訓練數據對；

根據所述訓練數據對進行生成對抗網絡的訓練，以獲取水下圖像增強生成對抗網絡；

其中，所述水下圖像失真模型的生成步驟包括：

獲取同一場景對應不同色溫的場景圖片，并根據每個色溫對應的場景圖片計算非線性顏色映射函數，以便根據所述非線性顏色映射函數將原始圖片轉換為第一水下圖片；

其中，對所述第一水下圖片進行數據擴充，以生成多個第二水下圖片，包括：

獲取多個待鑲嵌圖片，并將每個待鑲嵌圖片分別與所述第一水下圖片進行泊松融合，以生成對應所述待鑲嵌圖片的多個第二水下圖片；

其中，所述水下圖像增強生成對抗網絡的conv層采用兩個stride為2的conv進行下采樣，并采用兩個densenet模塊，以有效傳遞conv層輸出信號的特征信息；

所述水下圖像增強生成對抗網絡使用upsample+conv組合來進行上采樣操作，每個卷積層都采用conv+INinstance norm+leakyrelu結構。

2.如權利要求1所述的水下圖像增強生成對抗網絡的訓練方法，其特征在于，對所述第一水下圖片進行數據擴充，以生成多個第二水下圖片，包括：

對所述第一水下圖片進行裁剪，以生成多個裁剪圖片，并對所述多個裁剪圖片進行翻轉處理和/或鏡像處理，以及對處理后的裁剪圖片進行拼接，以生成多個第二水下圖片。

3.如權利要求1或2所述的水下圖像增強生成對抗網絡的訓練方法，其特征在于，所述水下圖像增強生成對抗網絡的生成模型端包括三個步長為2的卷積層和兩個densenet模塊；

所述水下圖像增強生成對抗網絡的判決模型端包括局部判決器、全局判決器和亮度判決器；

所述水下圖像增強生成對抗網絡的優化器為Adamoptimizer。

4.一種計算機可讀存儲介質，其特征在于，其上存儲有水下圖像增強生成對抗網絡的訓練程序，該水下圖像增強生成對抗網絡的訓練程序被處理器執行時實現如權利要求1-3中任一項所述的水下圖像增強生成對抗網絡的訓練方法。

5.一種水下圖像增強生成對抗網絡的訓練裝置，其特征在于，包括：

獲取模塊，所述獲取模塊用于獲取原始圖片；

圖像失真模塊，所述圖像失真模塊用于將所述原始圖片輸入到水下圖像失真模型，以生成所述原始圖片對應的第一水下圖片；

訓練數據生成模塊，所述訓練數據生成模塊用于對所述第一水下圖片進行數據擴充，以生成多個第二水下圖片，并根據所述原始圖片和所述第二水下圖片生成對應每個所述第二水下圖片的訓練數據對；

訓練模塊，所述訓練模塊用于根據所述訓練數據對進行生成對抗網絡的訓練，以獲取水下圖像增強生成對抗網絡；

其中，所述水下圖像失真模型的生成步驟包括：

獲取同一場景對應不同色溫的場景圖片，并根據每個色溫對應的場景圖片計算非線性顏色映射函數，以便根據所述非線性顏色映射函數將原始圖片轉換為第一水下圖片；

其中，對所述第一水下圖片進行數據擴充，以生成多個第二水下圖片，包括：

獲取多個待鑲嵌圖片，并將每個待鑲嵌圖片分別與所述第一水下圖片進行泊松融合，以生成對應所述待鑲嵌圖片的多個第二水下圖片；

其中，所述水下圖像增強生成對抗網絡的conv層采用兩個stride為2的conv進行下采樣，并采用兩個densenet模塊，以有效傳遞conv層輸出信號的特征信息；

所述水下圖像增強生成對抗網絡使用upsample+conv組合來進行上采樣操作，每個卷積層都采用conv+INinstance norm+leakyrelu結構。

6.如權利要求5所述的水下圖像增強生成對抗網絡的訓練裝置，其特征在于，對所述第一水下圖片進行數據擴充，以生成多個第二水下圖片，包括：

對所述第一水下圖片進行裁剪，以生成多個裁剪圖片，并對所述多個裁剪圖片進行翻轉處理和/或鏡像處理，以及對處理后的裁剪圖片進行拼接，以生成多個第二水下圖片。