[發(fā)明專利]一種三維臉部動(dòng)作生成方法和系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202210195575.8
• 申請(qǐng)日: 2022-03-01
• 公開（公告）號(hào): CN114581570A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計(jì)）人: 王新文;陳珉;諶明
• 申請(qǐng)（專利權(quán)）人: 浙江同花順智能科技有限公司
• 主分類號(hào): G06T13/40
• 分類號(hào): G06T13/40;G06K9/62;G06N3/04;G06N3/08;G06V10/80;G06V10/82
• 代理公司: 成都七星天知識(shí)產(chǎn)權(quán)代理有限公司 51253
• 代理人: 李如文

本說明書涉及一種三維臉部表情生成方法和系統(tǒng)，方法包括：獲取音頻信號(hào)中的至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)音頻特征；獲取所述至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)音素特征；通過三維臉部表情生成模型處理所述至少一個(gè)音頻特征和所述至少一個(gè)音素特征，得到所述至少一幀信號(hào)中的每一幀信號(hào)對(duì)應(yīng)的臉部表情系數(shù)；基于所述至少一幀信號(hào)中的各幀信號(hào)對(duì)應(yīng)的所述臉部表情系數(shù)、預(yù)設(shè)的臉部表情基底和預(yù)設(shè)臉部形狀，得到所述至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)三維臉部動(dòng)作圖像。

技術(shù)領(lǐng)域

本申請(qǐng)涉及動(dòng)畫技術(shù)領(lǐng)域，尤其涉及一種三維臉部動(dòng)作生成方法和系統(tǒng)。

背景技術(shù)

隨著動(dòng)畫技術(shù)的發(fā)展，三維(也可以稱為3D)臉部動(dòng)畫制作在影視、游戲、新聞媒體、互聯(lián)網(wǎng)金融等領(lǐng)域得到廣泛應(yīng)用。在一些應(yīng)用場(chǎng)景中，可以基于語(yǔ)音生成三維臉部動(dòng)作的動(dòng)畫，例如基于人的語(yǔ)音生成游戲角色、虛擬主播、虛擬家教、虛擬客服等虛擬角色的三維臉部動(dòng)作動(dòng)畫，以滿足影視、游戲、新聞媒體、互聯(lián)網(wǎng)金融等領(lǐng)域的虛擬角色需求。

因此，亟需三維臉部動(dòng)作生成方法和系統(tǒng)來(lái)實(shí)現(xiàn)三維臉部動(dòng)作動(dòng)畫的生成。

發(fā)明內(nèi)容

本說明書實(shí)施例之一提供一種三維臉部表情生成模型的訓(xùn)練方法，所述方法包括：獲取音頻信號(hào)樣本中的幀信號(hào)樣本對(duì)應(yīng)的音頻特征樣本；獲取所述幀信號(hào)樣本對(duì)應(yīng)的音素特征樣本；通過所述三維臉部表情生成模型處理所述音頻特征樣本和所述音素特征樣本，得到所述幀信號(hào)樣本對(duì)應(yīng)的臉部表情系數(shù)預(yù)測(cè)值；基于所述臉部表情系數(shù)預(yù)測(cè)值與所述幀信號(hào)樣本對(duì)應(yīng)的臉部表情系數(shù)標(biāo)簽的差異，調(diào)整所述三維臉部表情生成模型的參數(shù)。

本說明書實(shí)施例之一提供一種三維臉部動(dòng)作生成方法，所述方法包括：獲取音頻信號(hào)中的至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)音頻特征；獲取所述至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)音素特征；通過三維臉部表情生成模型處理所述至少一個(gè)音頻特征和所述至少一個(gè)音素特征，得到所述至少一幀信號(hào)中的每一幀信號(hào)對(duì)應(yīng)的臉部表情系數(shù)；基于所述至少一幀信號(hào)中的各幀信號(hào)對(duì)應(yīng)的所述臉部表情系數(shù)、預(yù)設(shè)的臉部表情基底和預(yù)設(shè)臉部形狀，得到所述至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)三維臉部動(dòng)作圖像。

本說明書實(shí)施例之一提供一種三維臉部動(dòng)作生成系統(tǒng)，所述系統(tǒng)包括：第一獲取模塊，用于獲取音頻信號(hào)中的至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)音頻特征；第二獲取模塊，用于獲取所述至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)音素特征；表情系數(shù)生成模塊，用于通過三維臉部表情生成模型處理所述至少一幀信號(hào)對(duì)應(yīng)的所述至少一個(gè)音頻特征和所述至少一個(gè)音素特征，得到所述至少一幀信號(hào)中的每一幀信號(hào)對(duì)應(yīng)的臉部表情系數(shù)；三維臉部動(dòng)作生成模塊，用于基于所述至少一幀信號(hào)中的各幀信號(hào)對(duì)應(yīng)的所述臉部表情系數(shù)、預(yù)設(shè)的臉部表情基底和預(yù)設(shè)臉部形狀，得到所述至少一幀信號(hào)對(duì)應(yīng)的至少一個(gè)三維臉部動(dòng)作圖像。

本說明書實(shí)施例之一提供一種三維臉部動(dòng)作生成裝置，所述裝置包括至少一個(gè)處理器和至少一個(gè)存儲(chǔ)設(shè)備，所述存儲(chǔ)設(shè)備用于存儲(chǔ)指令，當(dāng)所述至少一個(gè)處理器執(zhí)行所述指令時(shí)，實(shí)現(xiàn)所述三維臉部動(dòng)作生成方法。

附圖說明

本說明書將以示例性實(shí)施例的方式進(jìn)一步說明，這些示例性實(shí)施例將通過附圖進(jìn)行詳細(xì)描述。這些實(shí)施例并非限制性的，在這些實(shí)施例中，相同的編號(hào)表示相同的結(jié)構(gòu)，其中：

圖1是根據(jù)本說明書一些實(shí)施例所示的三維臉部動(dòng)作生成系統(tǒng)的應(yīng)用場(chǎng)景示意圖；

圖2是根據(jù)本說明書一些實(shí)施例所示的三維臉部動(dòng)作生成系統(tǒng)的模塊圖；

圖3是根據(jù)本說明書一些實(shí)施例所示的三維臉部動(dòng)作生成方法的示例性流程圖；

圖4是根據(jù)本說明書一些實(shí)施例所示的三維臉部表情生成模型的示例性示意圖；

圖5是根據(jù)本說明書一些實(shí)施例所示的三維臉部表情生成模型的訓(xùn)練方法的示例性流程圖；

圖6是根據(jù)本說明書一些實(shí)施例所示的三維臉部表情生成模型的訓(xùn)練架構(gòu)的示例性示意圖。

具體實(shí)施方式