[發(fā)明專利]虛擬主播換臉方法、裝置、電子設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010420711.X
• 申請日: 2020-05-18
• 公開（公告）號: CN113691833B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 樊博;徐禎;陳曦
• 申請（專利權(quán)）人: 北京搜狗科技發(fā)展有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;H04N21/81;G06V40/16
• 代理公司: 北京派特恩知識產(chǎn)權(quán)代理有限公司 11270
• 代理人: 李昂;張穎玲

1.一種虛擬主播換臉方法，其特征在于，包括：

通過端對端的序列學(xué)習(xí)模型處理目標(biāo)虛擬主播的歷史視頻素材，得到所述目標(biāo)虛擬主播的人臉特征參數(shù)；

設(shè)定融合度參數(shù)；

對候選虛擬人臉的人臉關(guān)鍵點(diǎn)和所述目標(biāo)虛擬主播的人臉關(guān)鍵點(diǎn)分別進(jìn)行仿射變換，得到對應(yīng)的仿射后人臉圖像；

根據(jù)所述融合度參數(shù)將兩個(gè)所述仿射后人臉圖像進(jìn)行加權(quán)平均得到融合后圖像，將所述融合后圖像作為換臉虛擬主播的圖像素材，所述候選虛擬人臉和所述目標(biāo)虛擬主播是分別進(jìn)行臉部建模得到的相貌不同的數(shù)字人臉；

通過所述端對端的序列學(xué)習(xí)模型處理所述目標(biāo)虛擬主播的人臉特征參數(shù)和所述圖像素材，得到所述換臉虛擬主播的人臉特征參數(shù)；

將所述換臉虛擬主播的人臉特征參數(shù)中的面部特征運(yùn)動參數(shù)輸入到所述換臉虛擬主播綁定的肌肉模型中，驅(qū)動所述換臉虛擬主播的面部特征進(jìn)行運(yùn)動，以得到換臉后視頻素材。

2.如權(quán)利要求1所述的方法，其特征在于，所述目標(biāo)虛擬主播的人臉特征參數(shù)，包括：

所述目標(biāo)虛擬主播在不同表情下的面部特征運(yùn)動參數(shù)；或者

所述目標(biāo)虛擬主播在不同表情下的面部特征運(yùn)動參數(shù)和如下至少一種附加參數(shù)：所述目標(biāo)虛擬主播的臉部輪廓參數(shù)、所述目標(biāo)虛擬主播的面部特征比例參數(shù)、所述目標(biāo)虛擬主播的性別特征參數(shù)、所述目標(biāo)虛擬主播的頭部與所述目標(biāo)虛擬主播除所述頭部之外的各個(gè)身體部位之間的比例參數(shù)。

3.如權(quán)利要求2所述的方法，其特征在于，所述通過端對端的序列學(xué)習(xí)模型處理目標(biāo)虛擬主播的歷史視頻素材，得到所述目標(biāo)虛擬主播的人臉特征參數(shù)，包括：

通過所述端對端的序列學(xué)習(xí)模型的嵌入層對歷史視頻素材進(jìn)行映射，得到所述目標(biāo)虛擬主播的原始面部特征，以及與所述原始面部特征對應(yīng)的源文本特征；

通過所述端對端的序列學(xué)習(xí)模型的前饋轉(zhuǎn)換器處理所述原始面部特征和所述源文本特征，得到與所述原始面部特征對應(yīng)的原始面部特征向量，以及與所述源文本特征對應(yīng)的第一文本編碼特征；

將所述原始面部特征向量與所述第一文本編碼特征對齊后進(jìn)行拼幀和解碼，得到所述目標(biāo)虛擬主播的面部特征運(yùn)動參數(shù)。

4.如權(quán)利要求1所述的方法，其特征在于，所述換臉虛擬主播的人臉特征參數(shù)，包括：

所述換臉虛擬主播在不同表情下的面部特征運(yùn)動參數(shù)；或者

所述換臉虛擬主播在不同表情下的面部特征運(yùn)動參數(shù)和如下至少一種附加參數(shù)：所述換臉虛擬主播的臉部輪廓參數(shù)、所述換臉虛擬主播的面部特征比例參數(shù)、所述換臉虛擬主播的性別特征參數(shù)、所述換臉虛擬主播的頭部與所述換臉虛擬主播上除所述頭部之外的各個(gè)身體部位之間的比例參數(shù)。

5.如權(quán)利要求4所述的方法，其特征在于，所述通過所述端對端的序列學(xué)習(xí)模型處理所述目標(biāo)虛擬主播的人臉特征參數(shù)和所述圖像素材，得到所述換臉虛擬主播的人臉特征參數(shù)，包括：

通過所述端對端的序列學(xué)習(xí)模型的嵌入層對所述圖像素材進(jìn)行映射，得到所述換臉虛擬主播的換臉后面部特征；

通過所述端對端的序列學(xué)習(xí)模型的前饋轉(zhuǎn)換器處理所述換臉后面部特征和所述目標(biāo)虛擬主播的人臉特征參數(shù)，得到所述換臉后面部特征對應(yīng)的換臉面部特征向量，以及與所述目標(biāo)虛擬主播的人臉特征參數(shù)對應(yīng)的第二文本編碼特征；

將所述換臉面部特征向量與所述第二文本編碼特征對齊后進(jìn)行拼幀和解碼，得到所述換臉虛擬主播的面部特征運(yùn)動參數(shù)。