[發明專利]一種人臉轉換模型的訓練方法、人臉圖像轉換方法

在審

• 申請號: 202010414518.5
• 申請日: 2020-05-15
• 公開（公告）號: CN113689527A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 汪浩;劉陽興
• 申請（專利權）人: 武漢TCL集團工業研究院有限公司
• 主分類號: G06T13/00
• 分類號: G06T13/00;G06N3/04;G06N3/08
• 代理公司: 深圳市君勝知識產權代理事務所(普通合伙) 44268
• 代理人: 謝松;王永文

本申請涉及一種人臉轉換模型的訓練方法、人臉圖像轉換方法，所述人臉轉換模型的訓練方法包括：根據目標音頻數據以及待轉換人臉圖像的待轉換人臉關鍵點確定預測人臉關鍵點；將待轉換人臉圖像、目標人臉圖像、待轉換人臉關鍵點以及預測人臉關鍵點輸入預設生成對抗網絡模型，生成預測人臉圖像以及判別結果；根據目標人臉圖像、預測人臉圖像以及判別結果，對預設生成對抗網絡模型的模型參數進行修正，以得到已訓練的人臉轉換模型。在確定目標音頻數據對應的預測人臉關鍵點時，目標音頻數據中與語音內容無關的視聽信號并不會體現在預測人臉關鍵點上，因此，可以避免擬合與語音內容無關的視聽信號之間的假相關性，得到的預測人臉圖像效果較佳。

技術領域

本申請涉及圖像處理技術領域，特別是涉及一種人臉轉換模型的訓練方法、人臉圖像轉換方法。

背景技術

經過近幾年深度學習尤其是計算機視覺技術的飛速發展，計算機視覺技術已經廣泛應用于安防監控，醫療健康等眾多領域。虛擬現實技術作為更高級別的計算機視覺技術已成為目前的研究熱點。虛擬真人是指利用數字化技術生成真人視頻，根據另一種模態對移動的人臉或者身體的動態建模是計算機視覺中的一個基本問題，其應用范圍從音頻到視頻生成、文本到視頻生成和驅動圖像或視頻到目標視頻生成。

有很多網絡或者很多算法來進行生成人臉動畫的研究，現有技術中簡單的利用音頻、圖像和視頻端到端的生成圖像或視頻時，容易擬合與語音內容無關的視聽信號之間的假相關性。

因此，現有技術有待改進。

發明內容

本發明所要解決的技術問題是，提供生成對抗網絡的訓練方法、人臉圖像轉換方法，以實現圖像生成時，避免擬合與語音內容無關的視聽信號之間的假相關性。

第一方面，本發明實施例提供了一種人臉轉換模型的訓練方法，所述訓練方法包括：

獲取訓練樣本數據中目標音頻數據以及所述目標音頻數據對應的待轉換人臉圖像、目標人臉圖像；其中，所述目標人臉圖像為所述目標音頻數據對應的原始人臉圖像；

根據所述目標音頻數據以及所述待轉換人臉圖像的待轉換人臉關鍵點，確定所述目標音頻數據對應的預測人臉關鍵點；

將所述待轉換人臉圖像、所述目標人臉圖像、所述待轉換人臉關鍵點以及所述目標音頻數據對應的預測人臉關鍵點輸入預設生成對抗網絡模型，通過所述預設生成對抗網絡模型，生成所述目標音頻數據對應的預測人臉圖像以及所述預測人臉圖像對應的判別結果；其中，所述預測人臉圖像中的人臉與所述待轉換人臉圖像中的人臉為同一目標人物的人臉圖像，所述預測人臉圖像的人臉關鍵點與所述目標音頻數據對應的預測人臉關鍵點的相似度滿足預設條件；

根據所述目標人臉圖像、所述目標音頻數據對應的預測人臉圖像以及所述判別結果，對所述預設生成對抗網絡模型的模型參數進行修正，以得到已訓練的人臉轉換模型。

第二方面，本發明實施例提供了一種人臉圖像轉換方法，所述人臉圖像轉換方法包括：

獲取待處理音頻數據以及所述待處理音頻數據對應的待處理人臉圖像；

根據所述待處理人臉圖像確定所述待處理人臉圖像對應的待處理人臉關鍵點；

根據所述待處理音頻數據以及所述待處理人臉關鍵點，確定所述待處理音頻數據對應的目標人臉關鍵點；

將所述待處理人臉圖像、所述待處理人臉關鍵點以及所述待處理音頻數據對應的目標人臉關鍵點，輸入至所述已訓練的人臉轉換模型，通過所述已訓練的人臉轉換模型得到所述待處理音頻數據對應的目標人臉圖像；其中，所述目標人臉圖像中人臉與所述待處理人臉圖像中的人臉為同一目標人物的人臉圖像，所述目標人臉圖像中的人臉關鍵點與所述待處理音頻數據對應的目標人臉關鍵點的相似度滿足預設條件，所述已訓練的人臉轉換模型為上述任意一項所述的人臉轉換模型。