[發明專利]圖像生成方法、圖像生成裝置及相關設備

在審

• 申請號: 202210735272.0
• 申請日: 2022-06-27
• 公開（公告）號: CN115187450A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 邢晨
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T3/00
• 分類號: G06T3/00;G06V10/44
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 龔素素

本發明實施例提供了一種圖像生成方法、圖像生成裝置及相關設備，其中，方法包括：利用具有目標人臉風格的目標數據集，對預先訓練的StyleGAN模型進行訓練和模型參數調整，得到風格化模型，風格化模型用于生成具有目標人臉風格的人臉圖像；將隨機噪聲分別輸入至StyleGAN模型和風格化模型，以使StyleGAN模型基于隨機噪聲輸入得到第一人臉圖像，風格化模型基于隨機噪聲輸入和第一人臉圖像得到第二人臉圖像，第二人臉圖像是將第一人臉圖像進行風格遷移后，得到的具有目標人臉風格的人臉圖像。本發明實施例提供的方法可以降低獲取風格遷移模型所使用的訓練樣本的成本和難度。

技術領域

本發明涉及技術領域，特別是涉及一種圖像生成方法、圖像生成裝置及相關設備。

背景技術

人臉風格化指的是將視頻或圖片中真實的人臉圖像轉換成不同風格的人臉圖像。在進行人臉風格化的過程中通常需要將真實的人臉圖像輸入至風格遷移模型中進行風格遷移，從而得到不同風格的該人臉的圖像。

在對風格遷移模型進行訓練的過程中，需要的訓練樣本至少為幾千個圖像組或幾萬個圖像組，每一個圖像組中均需要包括真實人臉圖像和與其對應的風格化人臉圖像。由于風格遷移模型訓練所需的圖像組數量較大，在網絡上難以直接獲取，通常需要人工繪制。因此，現有技術中存在獲得風格遷移模型所使用的訓練樣本的成本和難度較大的問題。

發明內容

本發明實施例的目的在于提供一種圖像生成方法、圖像生成裝置及相關設備，以降低獲取風格遷移模型所使用的訓練樣本的成本和難度。具體技術方案如下：

在本發明實施的第一方面，首先提供了一種圖像生成方法，包括：

利用具有目標人臉風格的目標數據集，對預先訓練的StyleGAN模型進行訓練和模型參數調整，得到風格化模型，所述風格化模型用于生成具有所述目標人臉風格的人臉圖像；

將隨機噪聲分別輸入至所述StyleGAN模型和所述風格化模型，以使所述StyleGAN模型基于所述隨機噪聲輸入得到第一人臉圖像，所述風格化模型基于所述隨機噪聲輸入和所述第一人臉圖像得到第二人臉圖像，所述第二人臉圖像是將所述第一人臉圖像進行風格遷移后，得到的具有所述目標人臉風格的人臉圖像。

可選地，所述StyleGAN模型基于所述隨機噪聲輸入得到所述第一人臉圖像，包括：

所述StyleGAN模型的第一映射層基于所述隨機噪聲輸入進行特征提取，得到第一隱藏特征；所述第一隱藏特征用于表征所述第一人臉圖像中人臉區域的屬性；

將所述第一隱藏特征與預設的第一平均特征進行加權處理，得到第一目標特征；所述第一平均特征基于所述StyleGAN模型每一次訓練時所述第一映射層輸出的結果確定；

所述StyleGAN模型的第一綜合模塊基于所述第一目標特征輸入進行圖像生成，得到所述第一人臉圖像。

可選地，所述將所述第一隱藏特征與預設的第一平均特征進行加權處理，得到第一目標特征，包括：

將所述第一隱藏特征與預設的第一平均特征進行加權處理，得到第一中間特征；

對所述第一中間特征對應的參數進行調整，得到所述第一目標特征。

可選地，所述風格化模型基于所述隨機噪聲輸入和所述第一人臉圖像得到所述第二人臉圖像，包括：

所述風格化模型的第二映射層基于所述隨機噪聲輸入進行特征提取，得到第二隱藏特征，所述第二隱藏特征用于表征所述第二人臉圖像中人臉區域的屬性；

將所述第二隱藏特征與預設的第二平均特征進行加權處理，得到第二目標特征；所述第二平均特征基于所述風格化模型每一次訓練時所述第二映射層輸出的結果確定；