[發明專利]數字人視頻生成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202111168846.2
• 申請日: 2021-09-30
• 公開（公告）號: CN113987268A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 王鑫宇;常向月;劉炫鵬;劉云峰
• 申請（專利權）人: 深圳追一科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/78;G06V40/16;G06V20/40;G06V10/44;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳智匯遠見知識產權代理有限公司 44481
• 代理人: 劉潔

本發明實施例提供了一種數字人視頻生成方法、裝置、電子設備及存儲介質，所述方法包括：獲取目標人物的音頻，針對音頻中任一音頻幀，提取音頻幀對應的音頻特征，以及獲取第一平均人臉3D網格；確定目標人物的樣本視頻，提取樣本視頻中目標樣本圖像的第一人臉姿態參數以及第一背景輪廓線；利用預設解碼器，對音頻特征、第一人臉姿態參數以及第一平均人臉3D網格進行處理，生成第一人臉3D網格；利用預設視頻生成模型，對第一人臉3D網格以及第一背景輪廓線進行處理，生成數字人視頻?；谀繕巳宋锏囊纛l生成數字人視頻，其中引入了第一平均人臉3D網格、目標樣本圖像的第一人臉姿態參數以及第一背景輪廓線，生成的數字人視頻中數字人姿態自然、準確。

技術領域

本發明實施例涉及人工智能技術領域，尤其涉及一種數字人視頻生成方法、裝置、電子設備及存儲介質。

背景技術

數字人視頻的生成技術現在越來越成熟，如果數字人視頻生成技術想應用在商業，實現實時交互，至少需要滿足兩點：生成效果好和推理速度快，其中，生產效果好事必要的前提，推理速度快是商業的需要。

目前，基于聲音推理生成數字人視頻的方案，其主要是通過聲音推理模型，采用聲音推理生成人臉關鍵點。但基于聲音推理生成的人臉關鍵點存在角度問題，導致最終生成的數字人視頻中數字人姿態不自然。

發明內容

為了解決上述基于聲音推理生成的人臉關鍵點存在角度問題，導致最終生成的數字人視頻中數字人姿態不自然的技術問題，本發明實施例提供了一種數字人視頻生成方法、裝置、電子設備及存儲介質。

在本發明實施例的第一方面，首先提供了一種數字人視頻生成方法，所述方法包括：

獲取目標人物的音頻，針對所述音頻中任一音頻幀，提取所述音頻幀對應的音頻特征，以及獲取第一平均人臉3D網格；

確定所述目標人物的樣本視頻，提取所述樣本視頻中目標樣本圖像的第一人臉姿態參數以及第一背景輪廓線；

利用預設解碼器，對所述音頻特征、所述第一人臉姿態參數以及所述第一平均人臉3D網格進行處理，生成第一人臉3D網格；

利用預設視頻生成模型，對所述第一人臉3D網格以及所述第一背景輪廓線進行處理，生成數字人視頻。

在一個可選的實施方式中，所述獲取第一平均人臉3D網格，包括：

將所述目標樣本圖像輸入至預設3D模型，獲取所述預設3D模型輸出的第一3D人臉重建信息；

提取所述第一3D人臉重建信息中的第一人臉姿態參數和第一人臉表情參數；

確定所述第一人臉姿態參數和所述第一人臉表情參數為第一平均人臉3D網格；

或者，

獲取第一平均人臉3D網格集，獲取所述第一平均人臉3D網格集中的任一第一平均人臉3D網格。

在一個可選的實施方式中，所述提取所述樣本視頻中目標樣本圖像的第一人臉姿態參數，包括：

將所述樣本視頻中目標樣本圖像輸入至預設姿態提取模型，獲取所述預設姿態提取模型輸出的第一人臉姿態參數；

其中，所述預設姿態提取模型包括預設神經網格模型與全連接層，所述預設神經網格模型連接于所述全連接層。

在一個可選的實施方式中，所述利用預設解碼器，對所述音頻特征、所述第一人臉姿態參數以及所述第一平均人臉3D網格進行處理，生成第一人臉3D網格，包括：

針對所述音頻中任一音頻幀，將所述音頻幀對應的所述音頻特征輸入至預設神經網格模型；

獲取所述預設神經網格模型輸出的所述音頻幀對應的第一聲音隱藏變量；