[發(fā)明專利]基于語義的音頻驅(qū)動數(shù)字人生成方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011382282.8
• 申請日: 2020-12-01
• 公開（公告）號: CN112562722A
• 公開（公告）日: 2021-03-26
• 發(fā)明（設(shè)計(jì)）人: 王濤;徐常亮
• 申請（專利權(quán)）人: 新華智云科技有限公司
• 主分類號: G10L21/10
• 分類號: G10L21/10;G10L15/18;G10L15/16;G10L15/02;G10L25/57;G06K9/00;G06T15/00;G06N3/04;G06N3/08
• 代理公司: 杭州裕陽聯(lián)合專利代理有限公司 33289
• 代理人: 田金霞

1.一種基于語義的音頻驅(qū)動數(shù)字人生成方法，其特征在于包括以下步驟：

獲取目標(biāo)音頻和目標(biāo)人臉圖像序列，對所述目標(biāo)人臉圖像序列中各目標(biāo)人臉圖像的嘴部區(qū)域做掩膜處理后，獲得相應(yīng)的第一人臉圖像序列；

對所述目標(biāo)音頻進(jìn)行特征提取，獲得相應(yīng)的音頻特征；

將所述音頻特征輸入至預(yù)訓(xùn)練的語義轉(zhuǎn)換網(wǎng)絡(luò)，由所述語義轉(zhuǎn)換網(wǎng)絡(luò)將所述音頻特征進(jìn)行語義轉(zhuǎn)換，獲得相應(yīng)的語義運(yùn)動序列，所述語義運(yùn)動序列包括若干個(gè)嘴部語義圖；

基于第一人臉圖像序列構(gòu)建第二人臉圖像序列，所述第二人臉圖像序列包含與所述嘴部語義圖相同數(shù)量的待渲染人臉圖像，基于所述嘴部語義圖和所述待渲染人臉圖像進(jìn)行人臉合成，生成合成人臉序列，所述合成人臉序列中包含與各嘴部語義圖一一對應(yīng)的合成人臉。

2.根據(jù)權(quán)利要求1所述的基于語義的音頻驅(qū)動數(shù)字人生成方法，其特征在于，所述語義轉(zhuǎn)換網(wǎng)絡(luò)包括循環(huán)神經(jīng)網(wǎng)絡(luò)和上采樣卷積神經(jīng)網(wǎng)絡(luò)；

所述循環(huán)神經(jīng)網(wǎng)絡(luò)，用于將所述音頻特征轉(zhuǎn)換為表情向量：

所述上采樣卷積神經(jīng)網(wǎng)絡(luò)，用于基于所述表情向量生成語義運(yùn)動序列。

3.根據(jù)權(quán)利要求1或2所述的基于語義的音頻驅(qū)動數(shù)字人生成方法，其特征在于：

將嘴部語義圖與其相對應(yīng)的待渲染人臉圖像進(jìn)行連接，獲得相應(yīng)的待合成數(shù)據(jù)；

將所述待合成數(shù)據(jù)輸入至預(yù)設(shè)的神經(jīng)渲染網(wǎng)絡(luò)，由所述神經(jīng)渲染網(wǎng)絡(luò)基于所述嘴部語義圖對所述待渲染人臉圖像進(jìn)行合成渲染，生成相對應(yīng)的合成人臉。

4.根據(jù)權(quán)利要求3所述的基于語義的音頻驅(qū)動數(shù)字人生成方法，其特征在于，預(yù)訓(xùn)練語義轉(zhuǎn)換網(wǎng)絡(luò)的步驟為：

獲取目標(biāo)人臉對應(yīng)的說話視頻，提取所述說話視頻的音頻特征，獲得樣本音頻特征，提取所述說話視頻的視頻幀，對各視頻幀中的人臉進(jìn)行檢測，并分割該人臉的嘴部語義圖，將所得嘴部語義圖作為樣本語義圖；

基于所述樣本音頻特征和所述樣本語義圖訓(xùn)練所述語義轉(zhuǎn)換網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求4所述的基于語義的音頻驅(qū)動數(shù)字人生成方法，其特征在于，預(yù)訓(xùn)練語義轉(zhuǎn)換網(wǎng)絡(luò)的步驟為：

對所述視頻幀中人臉的嘴部區(qū)域做掩膜處理后，獲得相對應(yīng)的待渲染樣本圖像；

將所述待渲染樣本圖像和對應(yīng)的樣本語義圖進(jìn)行連接，獲得相應(yīng)的待合成樣本數(shù)據(jù)；

基于所述待合成樣本數(shù)據(jù)和所述樣本人臉圖像訓(xùn)練所述神經(jīng)渲染網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述的基于語義的音頻驅(qū)動數(shù)字人生成方法，其特征在于：

音頻特征為梅爾頻率倒譜系數(shù)。

7.一種基于語義的音頻驅(qū)動數(shù)字人生成系統(tǒng)，其特征在于，包括：

數(shù)據(jù)獲取模塊，用于獲取目標(biāo)音頻和目標(biāo)人臉圖像序列，對所述目標(biāo)人臉圖像序列中各目標(biāo)人臉圖像的嘴部區(qū)域做掩膜處理后，獲得相應(yīng)的第一人臉圖像序列；

特征提取模塊，用于對所述目標(biāo)音頻進(jìn)行特征提取，獲得相應(yīng)的音頻特征；

語義轉(zhuǎn)換模塊，用于將所述音頻特征輸入至預(yù)訓(xùn)練的語義轉(zhuǎn)換網(wǎng)絡(luò)，由所述語義轉(zhuǎn)換網(wǎng)絡(luò)將所述音頻特征進(jìn)行語義轉(zhuǎn)換，獲得相應(yīng)的語義運(yùn)動序列，所述語義運(yùn)動序列包括若干個(gè)嘴部語義圖；

合成渲染模塊，基于第一人臉圖像序列構(gòu)建第二人臉圖像序列，所述第二人臉圖像序列包含與所述嘴部語義圖相同數(shù)量的待渲染人臉圖像，還用于基于所述嘴部語義圖和所述待渲染人臉圖像進(jìn)行人臉合成，生成合成人臉序列，所述合成人臉序列中包含與各嘴部語義圖一一對應(yīng)的合成人臉。

8.根據(jù)權(quán)利要求7所述的基于語義的音頻驅(qū)動數(shù)字人生成系統(tǒng)，其特征在于：

所述語義轉(zhuǎn)換網(wǎng)絡(luò)包括循環(huán)神經(jīng)網(wǎng)絡(luò)和上采樣卷積神經(jīng)網(wǎng)絡(luò)；

所述循環(huán)神經(jīng)網(wǎng)絡(luò)，用于將所述音頻特征轉(zhuǎn)換為表情向量：

所述上采樣卷積神經(jīng)網(wǎng)絡(luò)，用于基于所述表情向量生成語義運(yùn)動序列。