[發(fā)明專利]一種視頻生成方法、裝置、服務(wù)器及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202111109871.3
• 申請日: 2021-09-22
• 公開（公告）號: CN113901894A
• 公開（公告）日: 2022-01-07
• 發(fā)明（設(shè)計(jì)）人: 楊躍;董治;雷兆恒;梅立鋒
• 申請（專利權(quán)）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06T17/00;G10L25/57
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);杜維

1.一種視頻生成方法，其特征在于，所述方法包括：

獲取人聲音頻數(shù)據(jù)，并獲取目標(biāo)對象的人臉圖像；

根據(jù)所述人聲音頻數(shù)據(jù)生成模擬人臉表情參數(shù)，并根據(jù)所述人臉圖像生成所述目標(biāo)對象的三維人臉參數(shù)；

根據(jù)所述模擬人臉表情參數(shù)和所述三維人臉參數(shù)生成所述目標(biāo)對象的初始動(dòng)態(tài)人臉視頻；

根據(jù)所述人聲音頻數(shù)據(jù)對所述初始動(dòng)態(tài)人臉視頻中的人臉唇形進(jìn)行修正，得到目標(biāo)動(dòng)態(tài)人臉視頻；所述目標(biāo)動(dòng)態(tài)人臉視頻中的人臉唇形與所述人聲音頻數(shù)據(jù)中的人聲內(nèi)容相對應(yīng)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述人聲音頻數(shù)據(jù)生成模擬人臉表情參數(shù)，包括：

將所述人聲音頻數(shù)據(jù)輸入表情參數(shù)提取模型，基于所述表情參數(shù)提取模型對所述人聲音頻數(shù)據(jù)進(jìn)行特征轉(zhuǎn)換，得到所述人聲音頻數(shù)據(jù)的語音特征參數(shù)；

基于所述表情參數(shù)提取模型對所述語音特征參數(shù)進(jìn)行特征遷移，得到所述人聲音頻數(shù)據(jù)的目標(biāo)音頻特征；

根據(jù)所述目標(biāo)音頻特征進(jìn)行表情參數(shù)映射，得到所述模擬人臉表情參數(shù)。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述人臉圖像生成所述目標(biāo)對象的三維人臉參數(shù)，包括：

將所述人臉圖像輸入三維人臉構(gòu)建模型，以使所述三維人臉構(gòu)建模型提取所述人臉圖像中所述目標(biāo)對象的人臉關(guān)鍵點(diǎn)，并使用所述人臉關(guān)鍵點(diǎn)對所述目標(biāo)對象進(jìn)行人臉重構(gòu)，得到所述目標(biāo)對象的三維人臉參數(shù)。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述三維人臉參數(shù)包含所述目標(biāo)對象的初始人臉表情參數(shù)和人臉形態(tài)參數(shù)；所述人聲音頻數(shù)據(jù)具有多幀音頻數(shù)據(jù)，一幀音頻數(shù)據(jù)對應(yīng)一組所述模擬人臉表情參數(shù)；

所述根據(jù)所述模擬人臉表情參數(shù)和所述三維人臉參數(shù)生成所述目標(biāo)對象的初始動(dòng)態(tài)人臉視頻，包括：

將所述三維人臉參數(shù)中的所述初始人臉表情參數(shù)分別替換為每幀音頻數(shù)據(jù)對應(yīng)的所述模擬人臉表情參數(shù)，得到針對所述目標(biāo)對象的所述每幀音頻數(shù)據(jù)分別對應(yīng)的目標(biāo)人臉參數(shù)；

根據(jù)所述每幀音頻數(shù)據(jù)分別對應(yīng)的目標(biāo)人臉參數(shù)，生成所述每幀音頻數(shù)據(jù)分別對應(yīng)的初始人臉圖像；

根據(jù)所述每幀音頻數(shù)據(jù)分別對應(yīng)的初始人臉圖像，生成所述目標(biāo)對象的初始動(dòng)態(tài)人臉視頻。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述每幀音頻數(shù)據(jù)分別對應(yīng)的初始人臉圖像，生成所述目標(biāo)對象的初始動(dòng)態(tài)人臉視頻，包括：

對所述每幀音頻數(shù)據(jù)分別對應(yīng)的初始人臉圖像進(jìn)行圖像渲染，得到所述每幀音頻數(shù)據(jù)分別對應(yīng)的渲染人臉圖像；

根據(jù)所述每幀音頻數(shù)據(jù)分別對應(yīng)的渲染人臉圖像，生成所述目標(biāo)對象的初始動(dòng)態(tài)人臉視頻。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述根據(jù)所述人聲音頻數(shù)據(jù)對所述初始動(dòng)態(tài)人臉視頻中的人臉唇形進(jìn)行修正，得到目標(biāo)動(dòng)態(tài)人臉視頻，包括：

將所述人聲音頻數(shù)據(jù)和所述初始動(dòng)態(tài)人臉視頻輸入唇形修正模型；

基于所述唇形修正模型提取所述每幀音頻數(shù)據(jù)分別對應(yīng)的音頻數(shù)據(jù)特征；

根據(jù)所述每幀音頻數(shù)據(jù)分別對應(yīng)的音頻數(shù)據(jù)特征，對所述初始動(dòng)態(tài)人臉視頻中所述每幀音頻數(shù)據(jù)分別對應(yīng)的初始人臉圖像中的唇形進(jìn)行修正，得到所述每幀音頻數(shù)據(jù)分別對應(yīng)的目標(biāo)人臉圖像；

根據(jù)所述每幀音頻數(shù)據(jù)分別對應(yīng)的目標(biāo)人臉圖像生成進(jìn)行人臉唇形修正后的所述目標(biāo)動(dòng)態(tài)人臉視頻。