[發明專利]一種人臉轉換模型的訓練方法、人臉圖像轉換方法

在審

• 申請號: 202010414518.5
• 申請日: 2020-05-15
• 公開（公告）號: CN113689527A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 汪浩;劉陽興
• 申請（專利權）人: 武漢TCL集團工業研究院有限公司
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 謝松;王永文

1.一種人臉轉換模型的訓練方法，其特征在于，所述訓練方法包括：

獲取訓練樣本數據中目標音頻數據以及所述目標音頻數據對應的待轉換人臉圖像、目標人臉圖像；其中，所述目標人臉圖像為所述目標音頻數據對應的原始人臉圖像；

根據所述目標音頻數據以及所述待轉換人臉圖像的待轉換人臉關鍵點，確定所述目標音頻數據對應的預測人臉關鍵點；

將所述待轉換人臉圖像、所述目標人臉圖像、所述待轉換人臉關鍵點以及所述目標音頻數據對應的預測人臉關鍵點輸入預設生成對抗網絡模型，通過所述預設生成對抗網絡模型，生成所述目標音頻數據對應的預測人臉圖像以及所述預測人臉圖像對應的判別結果；其中，所述預測人臉圖像中的人臉與所述待轉換人臉圖像中的人臉為同一目標人物的人臉圖像，所述預測人臉圖像的人臉關鍵點與所述目標音頻數據對應的預測人臉關鍵點的相似度滿足預設條件；

根據所述目標人臉圖像、所述目標音頻數據對應的預測人臉圖像以及所述判別結果，對所述預設生成對抗網絡模型的模型參數進行修正，以得到已訓練的人臉轉換模型。

2.根據權利要求1所述人臉轉換模型的訓練方法，其特征在于，所述訓練樣本數據包括若干個樣本數據組，每個樣本數據組均包括一待轉換人臉圖像、所述待轉換人臉圖像對應的目標人臉圖像以及所述目標人臉圖像對應的目標音頻數據；每個樣本數據組中的目標人臉圖像均為目標視頻中視頻幀序列攜帶的人臉圖像，所述目標音頻數據為所述視頻幀序列對應的音頻片段，并且各目標人臉圖像各自分別對應的視頻幀序列互不相同。

3.根據權利要求2所述人臉轉換模型的訓練方法，其特征在于，各樣本數據組各自分別對應的所述目標人臉圖像和所述目標音頻數據的獲取方式包括：

獲取目標視頻，并確定所述目標視頻對應的視頻文件和音頻文件；

根據所述視頻文件確定各樣本數據組各自分別對應的視頻幀序列；針對每一個樣本數據組，根據該樣本數據組對應的視頻幀序列確定該樣本數據組對應的目標人臉圖像，以及，根據所述音頻文件和該樣本數據組對應的視頻幀序列確定該樣本數據組對應的目標音頻數據。

4.根據權利要求1所述人臉轉換模型的訓練方法，其特征在于，所述待轉換人臉關鍵點采用如下步驟得到：

將訓練樣本數據中待轉換人臉圖像輸入已訓練的第一神經網絡模型，通過所述第一神經網絡模型得到所述待轉換人臉圖像的待轉換人臉關鍵點；其中，所述已訓練的第一神經網絡模型是基于第一樣本訓練集訓練得到的，所述第一樣本訓練集包括：多組樣本圖像，每組樣本圖像均包括一歷史人臉圖像和所述歷史人臉圖像對應的人臉關鍵點。

5.根據權利要求1所述人臉轉換模型的訓練方法，其特征在于，所述根據所述目標音頻數據以及所述待轉換人臉圖像的待轉換人臉關鍵點，確定所述目標音頻數據對應的預測人臉關鍵點，包括：

確定所述目標音頻數據對應的目標音頻特征；

將所述待轉換人臉關鍵點以及所述目標音頻特征輸入已訓練的第二神經網絡模型，通過所述第二神經網絡模型得到所述目標音頻數據對應的預測人臉關鍵點；其中，所述已訓練的第二神經網絡模型是基于第二樣本訓練集訓練得到的，所述第二樣本訓練集包括多組樣本數據，每組樣本數據均包括一歷史音頻特征，以及所述歷史音頻特征對應的歷史待轉換人臉關鍵點和歷史目標人臉關鍵點，所述歷史目標人臉關鍵點為所述歷史音頻特征對應的原始人臉關鍵點。

6.根據權利要求1-5任意一項所述人臉轉換模型的訓練方法，其特征在于，所述預設生成對抗網絡模型包括：生成器和判別器；

所述將所述待轉換人臉圖像、所述目標人臉圖像、所述待轉換人臉關鍵點以及所述目標音頻數據對應的預測人臉關鍵點輸入預設生成對抗網絡模型，通過所述預設生成對抗網絡模型，生成所述目標音頻數據對應的預測人臉圖像以及所述預測人臉圖像對應的判別結果，包括：

將所述待轉換人臉圖像、所述待轉換人臉關鍵點以及所述目標音頻數據對應的預測人臉關鍵點輸入所述生成器，通過所述生成器得到所述目標音頻數據對應的預測人臉圖像；

將所述目標音頻數據對應的預測人臉圖像以及所述目標人臉圖像輸入所述判別器，通過所述判別器得到所述預測人臉圖像對應的判別結果。