[發明專利]虛擬主播換臉方法、裝置、電子設備及存儲介質

有效

• 申請號: 202010420711.X
• 申請日: 2020-05-18
• 公開（公告）號: CN113691833B
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 樊博;徐禎;陳曦
• 申請（專利權）人: 北京搜狗科技發展有限公司
• 主分類號: H04N21/234
• 分類號: H04N21/234;H04N21/44;H04N21/81;G06V40/16
• 代理公司: 北京派特恩知識產權代理有限公司 11270
• 代理人: 李昂;張穎玲

本發明實施例公開了一種虛擬主播換臉方法、裝置、電子設備及存儲介質，通過端對端的序列學習模型處理目標虛擬主播的歷史視頻素材，得到目標虛擬主播的人臉特征參數；使用候選虛擬人臉對所述目標虛擬主播進行換臉，得到對應換臉虛擬主播的圖像素材；通過端對端的序列學習模型處理目標虛擬主播的人臉特征參數和圖像素材，得到換臉虛擬主播的人臉特征參數；根據換臉虛擬主播的人臉特征參數將候選虛擬人臉融合到歷史視頻素材上，得到換臉后視頻素材。以此提高了歷史視頻素材的利用率，使得換臉虛擬主播的形象真實自然、面部特征運動自然、協調。

技術領域

本發明實施例涉及視頻處理技術，尤其涉及一種虛擬主播換臉方法、裝置、電子設備及存儲介質。

背景技術

人工智能產業正逐漸趨向成熟，人工智能虛擬現實轉換技術越來越貼近大眾生活，基于人工智能形成與真人形象無差的虛擬主播進行新聞播報、虛擬教師、虛擬醫生、虛擬客服等眾多的業務場景，大大提高了信息表達和傳遞的效率。在虛擬主播進行新聞播報、虛擬教師、虛擬醫生、虛擬客服等眾多的業務場景下，如何快速對歷史視頻素材中的虛擬主播進行換臉成為了當下新的需求。

發明內容

本發明實施例提供了一種虛擬主播換臉方法、裝置、電子設備及存儲介質，以生成高質量的換臉后視頻素材。

第一方面，本發明實施例提供一種虛擬主播換臉方法，包括：

通過端對端的序列學習模型處理目標虛擬主播的歷史視頻素材，得到所述目標虛擬主播的人臉特征參數；

使用候選虛擬人臉對所述目標虛擬主播進行換臉，得到對應換臉虛擬主播的圖像素材；

通過所述端對端的序列學習模型處理所述目標虛擬主播的人臉特征參數和所述圖像素材，得到所述換臉虛擬主播的人臉特征參數；

根據所述換臉虛擬主播的人臉特征參數，將所述候選虛擬人臉融合到歷史視頻素材上，得到換臉后視頻素材。

可選地，所述目標虛擬主播的人臉特征參數，包括：

所述目標虛擬主播在不同表情下的面部特征運動參數；或者

所述目標虛擬主播在不同表情下的面部特征運動參數和如下至少一種附加參數：所述目標虛擬主播的臉部輪廓參數、所述目標虛擬主播的面部特征比例參數、所述目標虛擬主播的性別特征參數、所述目標虛擬主播的頭部與所述目標虛擬主播除所述頭部之外的各個身體部位之間的比例參數。

可選地，通過端對端的序列學習模型處理目標虛擬主播的歷史視頻素材，得到所述目標虛擬主播的人臉特征參數，包括：

通過所述端對端的序列學習模型的嵌入層對歷史視頻素材進行映射，得到所述目標虛擬主播的原始面部特征，以及與所述原始面部特征對應的源文本特征；

通過所述端對端的序列學習模型的前饋轉換器處理所述原始面部特征和所述源文本特征，得到與所述原始面部特征對應的原始面部特征向量，以及與所述源文本特征對應的第一文本編碼特征；

將所述原始面部特征向量與所述第一文本編碼特征對齊后進行拼幀和解碼，得到所述目標虛擬主播的面部特征運動參數。

可選地，所述根據候選虛擬人臉對所述目標虛擬主播進行換臉，得到換臉虛擬主播的圖像素材，包括：

確定候選虛擬人臉；

針對所述歷史視頻素材上的目標虛擬主播，將所述候選虛擬人臉與所述目標虛擬主播的人臉部位進行人臉融合，作為所述對應換臉虛擬主播的圖像素材。

可選地，所述換臉虛擬主播的人臉特征參數，包括：

所述換臉虛擬主播在不同表情下的面部特征運動參數；或者