[發明專利]生成對抗網絡訓練方法、圖像換臉、視頻換臉方法及裝置

在審

• 申請號: 202010592443.X
• 申請日: 2020-06-24
• 公開（公告）號: CN111783603A
• 公開（公告）日: 2020-10-16
• 發明（設計）人: 李玉樂;陳德健;項偉;顏樂駒
• 申請（專利權）人: 有半島（北京）信息科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例公開了一種生成對抗網絡訓練方法、圖像換臉、視頻換臉方法及裝置，包括：獲取原圖像和目標圖像；初始化生成對抗網絡的生成器和判別器；將原圖像和目標圖像輸入生成器中訓練獲得換臉圖像，其中，生成器從原圖像提取第一人臉的屬性特征圖，從目標圖像中提取第二人臉的身份特征，身份特征注入屬性特征圖中生成混合特征圖，根據身份特征和屬性特征圖對混合特征圖進行解碼得到第二人臉替換第一人臉后的換臉圖像；將原圖像和換臉圖像輸入判別器訓練得到判定值；根據判定值、換臉圖像、原圖像和目標圖像對生成器和判別器進行調整。采用訓練好的生成器來生成換臉圖像，換臉效果真實自然，能夠保持原圖像的屬性特征和目標圖像的身份特征。

技術領域

本發明實施例涉及圖像處理技術領域，尤其涉及一種生成對抗網絡訓練方法、圖像換臉方法、視頻換臉方法及裝置。

背景技術

隨著短視頻、直播等視頻應用的普及，換臉是計算機視覺領域的一項重要技術，換臉被廣泛用于內容生產、電影制作、娛樂視頻制作等。

換臉是指給定一張原圖像和目標圖像，將目標圖像中的身份特征遷移到原圖像中得到換臉圖像，使得該換臉圖像既保持目標圖像的身份特征，同時又具有原圖像的臉部姿態、臉部表情等屬性特征，另外需求換臉圖像真實自然，現有技術中包括以下三種換臉方式：

1)基于臉部關鍵點的臉部融合換臉，該方式先獲取原圖像和目標圖像的臉部關鍵點，然后通過原圖像關鍵點提取原圖像的臉部區域，再根據目標圖像的關鍵點將原圖像的臉部區域融合到目標圖像中，此方式容易造成換臉圖像的臉部不真實自然。

2)基于3D臉部建模換臉，該方式分別對原圖像和目標圖像重建3D模型，然后從目標圖像的3D模型中提取身份特征，并結合原圖像的3D模型的屬性特征來生成換臉圖像，該方式生成的換臉圖像同樣不真實自然。

3)基于對抗生成網絡換臉，該方式通過神經網絡從原圖像中提取屬性特征，從目標圖像中提取身份特征，然后將兩個特征結合后，通過解碼器來解碼結合后的特征得到換臉圖像，該方法生成的換臉圖像真實自然，但是比較難同時保持原圖像的屬性特征和目標圖像的身份特征。

綜上所述，現有換臉技術難以獲得真實自然的換臉圖像，并且換臉圖像中無法同時保持原圖像的屬性特征和目標圖像的身份特征。

發明內容

本發明實施例提供一種生成對抗網絡訓練方法、圖像換臉方法、視頻換臉方法、裝置、電子設備和存儲介質，以解決現有換臉技術中無法獲得真實自然的換臉圖像，且換臉圖像中無法同時保持原圖像的屬性特征和目標圖像的身份特征的問題。

第一方面，本發明實施例提供了一種生成對抗網絡訓練方法，包括：

獲取包含第一人臉的原圖像和包含第二人臉的目標圖像；

初始化生成對抗網絡的生成器和判別器；

將所述原圖像和所述目標圖像輸入所述生成器中進行訓練獲得換臉圖像，所述生成器用于從所述原圖像提取第一人臉的屬性特征圖，從所述目標圖像中提取第二人臉的身份特征，并將所述身份特征注入所述屬性特征圖中生成混合特征圖，以及根據所述身份特征和所述屬性特征圖對所述混合特征圖進行解碼得到所述第二人臉替換所述第一人臉后的換臉圖像；

將所述原圖像和所述換臉圖像輸入所述判別器進行訓練得到判定值；

根據所述判定值、所述換臉圖像、所述原圖像和所述目標圖像對所述生成器和所述判別器的參數進行調整。

第二方面，本發明實施例提供了一種圖像換臉方法，包括：

獲取包含第一人臉的原圖像和包含第二人臉的目標圖像；

將所述原圖像和所述目標圖像輸入生成對抗網絡的生成器中，得到采用所述第二人臉替換所述第一人臉后所述原圖像的換臉圖像；