[發明專利]虛擬主播換臉方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010420711.X
• 申請日: 2020-05-18
• 公開（公告）號: CN113691833B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 樊博;徐禎;陳曦
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;H04N21/81;G06V40/16
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李昂;張穎玲

1.一種虛擬主播換臉方法，其特征在于，包括：

通過端對端的序列學習模型處理目標虛擬主播的歷史視頻素材，得到所述目標虛擬主播的人臉特征參數；

設定融合度參數；

對候選虛擬人臉的人臉關鍵點和所述目標虛擬主播的人臉關鍵點分別進行仿射變換，得到對應的仿射后人臉圖像；

根據所述融合度參數將兩個所述仿射后人臉圖像進行加權平均得到融合后圖像，將所述融合后圖像作為換臉虛擬主播的圖像素材，所述候選虛擬人臉和所述目標虛擬主播是分別進行臉部建模得到的相貌不同的數字人臉；

通過所述端對端的序列學習模型處理所述目標虛擬主播的人臉特征參數和所述圖像素材，得到所述換臉虛擬主播的人臉特征參數；

將所述換臉虛擬主播的人臉特征參數中的面部特征運動參數輸入到所述換臉虛擬主播綁定的肌肉模型中，驅動所述換臉虛擬主播的面部特征進行運動，以得到換臉后視頻素材。

2.如權利要求1所述的方法，其特征在于，所述目標虛擬主播的人臉特征參數，包括：

所述目標虛擬主播在不同表情下的面部特征運動參數；或者

所述目標虛擬主播在不同表情下的面部特征運動參數和如下至少一種附加參數：所述目標虛擬主播的臉部輪廓參數、所述目標虛擬主播的面部特征比例參數、所述目標虛擬主播的性別特征參數、所述目標虛擬主播的頭部與所述目標虛擬主播除所述頭部之外的各個身體部位之間的比例參數。

3.如權利要求2所述的方法，其特征在于，所述通過端對端的序列學習模型處理目標虛擬主播的歷史視頻素材，得到所述目標虛擬主播的人臉特征參數，包括：

通過所述端對端的序列學習模型的嵌入層對歷史視頻素材進行映射，得到所述目標虛擬主播的原始面部特征，以及與所述原始面部特征對應的源文本特征；

通過所述端對端的序列學習模型的前饋轉換器處理所述原始面部特征和所述源文本特征，得到與所述原始面部特征對應的原始面部特征向量，以及與所述源文本特征對應的第一文本編碼特征；

將所述原始面部特征向量與所述第一文本編碼特征對齊后進行拼幀和解碼，得到所述目標虛擬主播的面部特征運動參數。

4.如權利要求1所述的方法，其特征在于，所述換臉虛擬主播的人臉特征參數，包括：

所述換臉虛擬主播在不同表情下的面部特征運動參數；或者

所述換臉虛擬主播在不同表情下的面部特征運動參數和如下至少一種附加參數：所述換臉虛擬主播的臉部輪廓參數、所述換臉虛擬主播的面部特征比例參數、所述換臉虛擬主播的性別特征參數、所述換臉虛擬主播的頭部與所述換臉虛擬主播上除所述頭部之外的各個身體部位之間的比例參數。

5.如權利要求4所述的方法，其特征在于，所述通過所述端對端的序列學習模型處理所述目標虛擬主播的人臉特征參數和所述圖像素材，得到所述換臉虛擬主播的人臉特征參數，包括：

通過所述端對端的序列學習模型的嵌入層對所述圖像素材進行映射，得到所述換臉虛擬主播的換臉后面部特征；

通過所述端對端的序列學習模型的前饋轉換器處理所述換臉后面部特征和所述目標虛擬主播的人臉特征參數，得到所述換臉后面部特征對應的換臉面部特征向量，以及與所述目標虛擬主播的人臉特征參數對應的第二文本編碼特征；

將所述換臉面部特征向量與所述第二文本編碼特征對齊后進行拼幀和解碼，得到所述換臉虛擬主播的面部特征運動參數。