[發明專利]風格圖像生成方法、模型的訓練方法、裝置、設備及介質

有效

• 申請號: 202011197824.4
• 申請日: 2020-10-30
• 公開（公告）號: CN112991148B
• 公開（公告）日: 2023-08-11
• 發明（設計）人: 尹淳驥;張耀;李文越
• 申請（專利權）人: 抖音視界有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V10/772;G06V10/774
• 代理公司: 北京開陽星知識產權代理有限公司 11710
• 代理人: 王雪

本公開提供了一種風格圖像生成方法、模型的訓練方法、裝置、設備及存儲介質，所述方法包括：首先，接收第一風格圖像，然后，對所述第一風格圖像進行風格轉換處理后，生成第二風格圖像。本公開通過在圖像生成模型訓練的過程中對圖像生成模型的隱空間進行約束，使得應用于風格圖像生成方法中的圖像生成模型，能夠生成質量和效果較好的風格圖像，提升用戶的體驗。

技術領域

本公開涉及數據處理領域，尤其涉及一種風格圖像生成方法、模型的訓練方法、裝置、設備及存儲介質。

背景技術

隨著圖像處理技術的不斷發展，在圖像應用領域，圖像風格轉換功能已經成為了一種新的趣味性玩法。具體的，圖像風格轉換是指將圖像從一種風格轉換為符合用戶需求的另一種風格。

目前，機器模型已經成為圖像處理中的常用方式，例如，可以基于機器模型實現圖像風格轉換，但是，如何提高基于機器模型進行圖像風格轉換得到的風格圖像的質量，是目前亟需解決的技術問題。

發明內容

為了解決上述技術問題或者至少部分地解決上述技術問題，本公開提供了一種風格圖像生成方法、模型的訓練方法、裝置、設備及存儲介質，能夠生成質量較高的風格圖像，提升用戶的體驗。

第一方面，本公開提供了一種風格圖像生成方法，由圖像生成模型執行，所述方法包括：

接收第一風格圖像；

對所述第一風格圖像進行風格轉換處理后，生成第二風格圖像；

其中，所述圖像生成模型為基于具有對應關系的第一風格圖像樣本與第二風格圖像樣本訓練得到，所述圖像生成模型的隱空間在訓練的過程中被約束。

一種可選的實施方式中，所述圖像生成模型的隱空間被約束為包含預設個數隱向量的向量字典；所述對所述第一風格圖像進行風格轉換處理后，生成第二風格圖像，包括：

提取所述第一風格圖像的特征向量；

從所述向量字典中，確定與所述特征向量之間的距離最小的隱向量，作為所述特征向量對應的目標向量；

基于所述目標向量，生成所述第一風格圖像對應的第二風格圖像。

一種可選的實施方式中，所述圖像生成模型的隱空間被約束為正態分布；所述對所述第一風格圖像進行風格轉換處理后，生成第二風格圖像，包括：

將所述第一風格圖像映射到所述正態分布中，得到所述第一風格圖像的特征向量；

基于所述特征向量，生成所述第一風格圖像對應的第二風格圖像。

一種可選的實施方式中，所述基于所述特征向量，生成所述第一風格圖像對應的第二風格圖像之前，還包括：

基于目標權重系數更新所述特征向量，得到更新后特征向量；所述目標權重系數用于表示所述特征向量與所述正態分布的原點之間的距離；

相應的，所述基于所述特征向量，生成所述第一風格圖像對應的第二風格圖像，包括：

基于所述更新后特征向量，生成所述第一風格圖像對應的第二風格圖像。

一種可選的實施方式中，所述基于目標權重系數更新所述特征向量，得到更新后特征向量之前，還包括：

響應于目標權重系數的輸入操作，獲取所述目標權重系數。

一種可選的實施方式中，所述第一風格圖像包括線稿風格圖像，所述第二風格圖像包括漫畫風格圖像。

第二方面，本公開提供了一種圖像生成模型的訓練方法，所述方法包括：

獲取具有對應關系的第一風格圖像樣本與第二風格圖像樣本；