[發(fā)明專利]數(shù)字人視頻生成方法、裝置、電子設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111168846.2
• 申請日: 2021-09-30
• 公開（公告）號: CN113987268A
• 公開（公告）日: 2022-01-28
• 發(fā)明（設(shè)計）人: 王鑫宇;常向月;劉炫鵬;劉云峰
• 申請（專利權(quán)）人: 深圳追一科技有限公司
• 主分類號: G06F16/783
• 分類號: G06F16/783;G06F16/78;G06V40/16;G06V20/40;G06V10/44;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳智匯遠見知識產(chǎn)權(quán)代理有限公司 44481
• 代理人: 劉潔

1.一種數(shù)字人視頻生成方法，其特征在于，所述方法包括：

獲取目標人物的音頻，針對所述音頻中任一音頻幀，提取所述音頻幀對應(yīng)的音頻特征，以及獲取第一平均人臉3D網(wǎng)格；

確定所述目標人物的樣本視頻，提取所述樣本視頻中目標樣本圖像的第一人臉姿態(tài)參數(shù)以及第一背景輪廓線；

利用預(yù)設(shè)解碼器，對所述音頻特征、所述第一人臉姿態(tài)參數(shù)以及所述第一平均人臉3D網(wǎng)格進行處理，生成第一人臉3D網(wǎng)格；

利用預(yù)設(shè)視頻生成模型，對所述第一人臉3D網(wǎng)格以及所述第一背景輪廓線進行處理，生成數(shù)字人視頻。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取第一平均人臉3D網(wǎng)格，包括：

將所述目標樣本圖像輸入至預(yù)設(shè)3D模型，獲取所述預(yù)設(shè)3D模型輸出的第一3D人臉重建信息；

提取所述第一3D人臉重建信息中的第一人臉姿態(tài)參數(shù)和第一人臉表情參數(shù)；

確定所述第一人臉姿態(tài)參數(shù)和所述第一人臉表情參數(shù)為第一平均人臉3D網(wǎng)格；

或者，

獲取第一平均人臉3D網(wǎng)格集，獲取所述第一平均人臉3D網(wǎng)格集中的任一第一平均人臉3D網(wǎng)格。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述提取所述樣本視頻中目標樣本圖像的第一人臉姿態(tài)參數(shù)，包括：

將所述樣本視頻中目標樣本圖像輸入至預(yù)設(shè)姿態(tài)提取模型，獲取所述預(yù)設(shè)姿態(tài)提取模型輸出的第一人臉姿態(tài)參數(shù)；

其中，所述預(yù)設(shè)姿態(tài)提取模型包括預(yù)設(shè)神經(jīng)網(wǎng)格模型與全連接層，所述預(yù)設(shè)神經(jīng)網(wǎng)格模型連接于所述全連接層。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用預(yù)設(shè)解碼器，對所述音頻特征、所述第一人臉姿態(tài)參數(shù)以及所述第一平均人臉3D網(wǎng)格進行處理，生成第一人臉3D網(wǎng)格，包括：

針對所述音頻中任一音頻幀，將所述音頻幀對應(yīng)的所述音頻特征輸入至預(yù)設(shè)神經(jīng)網(wǎng)格模型；

獲取所述預(yù)設(shè)神經(jīng)網(wǎng)格模型輸出的所述音頻幀對應(yīng)的第一聲音隱藏變量；

將所述第一平均人臉3D網(wǎng)格輸入至所述預(yù)設(shè)神經(jīng)網(wǎng)格模型，獲取所述預(yù)設(shè)神經(jīng)網(wǎng)格模型輸出的第一圖像隱藏變量；

按照通道合成的方式將所述音頻幀對應(yīng)的第一聲音隱藏變量、所述第一圖像隱藏變量以及所述第一人臉姿態(tài)參數(shù)進行合成，得到第一合成變量；

將所述第一合成變量輸入至預(yù)設(shè)解碼器，獲取所述預(yù)設(shè)解碼器輸出的所述音頻幀對應(yīng)的第一人臉3D網(wǎng)格。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述第一合成變量輸入至預(yù)設(shè)解碼器，獲取所述預(yù)設(shè)解碼器輸出的所述音頻幀對應(yīng)的第一人臉3D網(wǎng)格，包括：

將所述第一人臉姿態(tài)參數(shù)輸入至所述預(yù)設(shè)神經(jīng)網(wǎng)格模型，獲取所述預(yù)設(shè)神經(jīng)網(wǎng)格模型輸出的所述第一人臉姿態(tài)參數(shù)的第一嘴周圍特征向量；

將所述第一合成變量、所述第一嘴周圍特征向量輸入至預(yù)設(shè)解碼器，獲取所述預(yù)設(shè)解碼器輸出的所述音頻幀對應(yīng)的第一人臉3D網(wǎng)格。

6.根據(jù)權(quán)利要求4或5所述的方法，其特征在于，所述利用預(yù)設(shè)視頻生成模型，對所述第一人臉3D網(wǎng)格以及所述第一背景輪廓線進行處理，生成數(shù)字人視頻，包括：

按照所述通道合成的方式將所述音頻幀對應(yīng)的所述第一人臉3D網(wǎng)格與所述第一背景輪廓線進行合成，得到所述音頻幀對應(yīng)的第一合成圖像；

將所述音頻幀對應(yīng)的所述第一合成圖像輸入至預(yù)設(shè)視頻生成模型，獲取所述預(yù)設(shè)視頻生成模型輸出的所述音頻幀對應(yīng)的數(shù)字人圖像；

按照所述音頻的時間序列，對各所述音頻幀各自對應(yīng)的所述數(shù)字人圖像進行組合，生成數(shù)字人視頻。

7.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述針對所述音頻中任一音頻幀，提取所述音頻幀對應(yīng)的音頻特征，包括：

針對所述音頻中任一音頻幀，利用傅里葉變換提取Mel頻率倒譜系數(shù)作為所述音頻幀對應(yīng)的音頻特征；

或者，

針對所述音頻中任一音頻幀，利用預(yù)設(shè)語音識別模型提取所述音頻幀對應(yīng)的音頻特征。