[發明專利]圖像生成模型的訓練方法、圖像生成方法、裝置及設備

在審

• 申請號: 202210807010.0
• 申請日: 2022-07-07
• 公開（公告）號: CN115205103A
• 公開（公告）日: 2022-10-18
• 發明（設計）人: 趙思杰;宋奕兵
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06T7/00;G06V10/44;G06N3/04;G06N3/08
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 賈允

本申請提供一種圖像生成模型的訓練方法、圖像生成方法、裝置及設備，可應用于云技術、人工智能、智慧交通、輔助駕駛等各種場景，方法包括將樣本自然圖像輸入至第一待訓練生成器得到生成風格化圖像，并將生成風格化圖像輸入至第二待訓練生成器得到重建自然圖像；將樣本風格化圖像輸入至第二待訓練生成器得到生成自然圖像，并將生成自然圖像輸入至第一待訓練生成器得到重建風格化圖像；根據樣本自然圖像、生成風格化圖像、重建自然圖像、樣本風格化圖像、生成自然圖像、重建風格化圖像，構建目標損失函數對第一待訓練生成器和第二待訓練生成器進行訓練，訓練結束時的第一待訓練生成器作為圖像生成模型。本發明可以提高圖像生成模型的魯棒性。

技術領域

本發明涉及計算機技術領域，尤其涉及一種圖像生成模型的訓練方法、圖像生成方法、裝置及設備。

背景技術

現有技術中對自然圖像進行風格化的算法包括基于特征融合的方法和基于生成對抗網絡的方法。然而，基于特征融合的方法中，由于單張圖像無法準確描述一類風格圖像的潛在特征，導致無法遷移結構類紋理風格信息。基于生成對抗網絡的方法中，在對兩個圖像域的數據集的學習過程中，沒有考慮兩個圖像域信息量不對等的情況。因此，基于上述兩種方法生成的圖像的質量較差。

發明內容

為了解決現有技術中對自然圖像進行風格化的模型無法生成高質量的圖像的問題，本申請提供了一種圖像生成模型的訓練方法、圖像生成方法、裝置及設備：

根據本申請的第一方面，提供了一種圖像生成模型的訓練方法，包括：

獲取樣本自然圖像和樣本風格化圖像；

將樣本自然圖像輸入至第一待訓練生成器進行風格化生成處理，得到生成風格化圖像，并將生成風格化圖像輸入至第二待訓練生成器進行自然生成處理，得到重建自然圖像；

將樣本風格化圖像輸入至第二待訓練生成器進行自然生成處理，得到生成自然圖像，并將生成自然圖像輸入至第一待訓練生成器進行風格化生成處理，得到重建風格化圖像；

根據樣本自然圖像、生成風格化圖像、重建自然圖像、樣本風格化圖像、生成自然圖像、重建風格化圖像，構建目標損失函數；

基于目標損失函數對第一待訓練生成器和第二待訓練生成器進行訓練，直至滿足第一預設訓練結束條件結束訓練；

其中，訓練結束時的第一待訓練生成器作為圖像生成模型。

根據本申請的第二方面，提供了一種圖像生成模型的訓練模型，包括：

第一獲取模塊，用于獲取樣本自然圖像和樣本風格化圖像；

第一處理模塊，用于將樣本自然圖像輸入至第一待訓練生成器進行風格化生成處理，得到生成風格化圖像，并將生成風格化圖像輸入至第二待訓練生成器進行自然生成處理，得到重建自然圖像；

第二處理模塊，用于將樣本風格化圖像輸入至第二待訓練生成器進行自然生成處理，得到生成自然圖像，并將生成自然圖像輸入至第一待訓練生成器進行風格化生成處理，得到重建風格化圖像；

構建模塊，用于根據樣本自然圖像、生成風格化圖像、重建自然圖像、樣本風格化圖像、生成自然圖像、重建風格化圖像，構建目標損失函數；

第一訓練模塊，用于基于目標損失函數對第一待訓練生成器和第二待訓練生成器進行訓練，直至滿足第一預設訓練結束條件結束訓練；

其中，訓練結束時的第一待訓練生成器作為圖像生成模型。

另一方面，構建模塊，包括：

邊緣特征提取子模塊，用于將樣本自然圖像、生成風格化圖像和重建自然圖像分別輸入至邊緣提取器進行邊緣特征提取處理，得到樣本自然圖像對應的第一邊緣特征、生成風格化圖像對應的第二邊緣特征、重建自然圖像對應的第三邊緣特征；邊緣提取器的參數在整個訓練過程中保持不變；