[發(fā)明專利]一種三維臉部動作生成方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210195575.8
• 申請日: 2022-03-01
• 公開（公告）號: CN114581570A
• 公開（公告）日: 2022-06-03
• 發(fā)明（設(shè)計）人: 王新文;陳珉;諶明
• 申請（專利權(quán)）人: 浙江同花順智能科技有限公司
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06K9/62;G06N3/04;G06N3/08;G06V10/80;G06V10/82
• 代理公司: 成都七星天知識產(chǎn)權(quán)代理有限公司 51253
• 代理人: 李如文

1.一種三維臉部表情生成模型的訓(xùn)練方法，所述方法包括：

獲取音頻信號樣本中的幀信號樣本對應(yīng)的音頻特征樣本；

獲取所述幀信號樣本對應(yīng)的音素特征樣本；

通過所述三維臉部表情生成模型處理所述音頻特征樣本和所述音素特征樣本，得到所述幀信號樣本對應(yīng)的臉部表情系數(shù)預(yù)測值；

基于所述臉部表情系數(shù)預(yù)測值與所述幀信號樣本對應(yīng)的臉部表情系數(shù)標(biāo)簽的差異，調(diào)整所述三維臉部表情生成模型的參數(shù)。

2.如權(quán)利要求1所述的方法，所述方法還包括：

通過所述三維臉部表情生成模型處理所述音頻特征樣本和所述音素特征樣本，得到所述幀信號樣本對應(yīng)的融合特征樣本或者第一音頻特征樣本；

通過身份識別網(wǎng)絡(luò)處理所述融合特征樣本或者所述第一音頻特征樣本，得到所述幀信號樣本對應(yīng)的身份預(yù)測值；

基于所述身份預(yù)測值與所述幀信號樣本對應(yīng)的身份標(biāo)簽的差異，調(diào)整所述三維臉部表情生成模型的參數(shù)。

3.如權(quán)利要求1所述的方法，所述三維臉部表情生成模型包括特征融合網(wǎng)絡(luò)和表情系數(shù)生成網(wǎng)絡(luò)；所述通過所述三維臉部表情生成模型處理所述音頻特征樣本和所述音素特征樣本，得到所述幀信號樣本對應(yīng)的臉部表情系數(shù)預(yù)測值包括：

通過所述特征融合網(wǎng)絡(luò)處理所述音頻特征樣本和所述音素特征樣本，得到所述幀信號樣本對應(yīng)的融合特征樣本；

通過所述表情系數(shù)生成網(wǎng)絡(luò)處理所述融合特征樣本，得到所述幀信號樣本對應(yīng)的臉部表情系數(shù)預(yù)測值。

4.如權(quán)利要求2所述的方法，所述特征融合網(wǎng)絡(luò)包括一個或多個第一特征提取單元和一個或多個第二特征提取單元；

所述通過所述特征融合網(wǎng)絡(luò)處理所述音頻特征樣本和所述音素特征樣本，得到所述幀信號樣本對應(yīng)的所述融合特征樣本包括：

通過所述一個或多個第一特征提取單元處理所述音頻特征樣本，得到所述一個或多個第一特征提取單元對應(yīng)的一個或多個第一音頻特征樣本；

通過所述一個或多個第二特征提取單元處理所述音素特征樣本和所述一個或多個第一音頻特征樣本，得到所述幀信號樣本對應(yīng)的所述融合特征樣本。

5.一種三維臉部表情生成模型的訓(xùn)練方法，所述方法包括：

獲取音頻信號樣本中的幀信號樣本對應(yīng)的音頻特征樣本；

獲取所述幀信號樣本對應(yīng)的音素特征樣本；

基于所述音頻特征樣本和所述音素特征樣本，通過特征融合網(wǎng)絡(luò)和表情系數(shù)生成網(wǎng)絡(luò)得到所述幀信號樣本對應(yīng)的臉部表情系數(shù)預(yù)測值；所述三維臉部表情生成模型包括所述特征融合網(wǎng)絡(luò)和所述表情系數(shù)生成網(wǎng)絡(luò)；

基于所述音頻特征樣本和所述音素特征樣本，通過特征融合網(wǎng)絡(luò)和身份識別網(wǎng)絡(luò)得到所述幀信號樣本對應(yīng)的身份預(yù)測值；

基于所述臉部表情系數(shù)預(yù)測值與所述幀信號樣本對應(yīng)的臉部表情系數(shù)標(biāo)簽的差異、所述身份預(yù)測值與所述幀信號樣本對應(yīng)的身份標(biāo)簽的差異，調(diào)整所述三維臉部表情生成模型的參數(shù)。

6.一種三維臉部動作生成方法，包括：

獲取音頻信號中的至少一幀信號對應(yīng)的至少一個音頻特征；

獲取所述至少一幀信號對應(yīng)的至少一個音素特征；

通過三維臉部表情生成模型處理所述至少一個音頻特征和所述至少一個音素特征，得到所述至少一幀信號中的每一幀信號對應(yīng)的臉部表情系數(shù)；

基于所述至少一幀信號中的各幀信號對應(yīng)的所述臉部表情系數(shù)、預(yù)設(shè)的臉部表情基底和預(yù)設(shè)臉部形狀，得到所述至少一幀信號對應(yīng)的至少一個三維臉部動作圖像。

7.如權(quán)利要求6所述的方法，所述獲取音頻信號中至少一幀信號對應(yīng)的至少一個音頻特征包括：

獲取所述至少一幀信號對應(yīng)的至少一個窗口信號，其中一幀信號對應(yīng)的窗口信號包括所述一幀信號所在的預(yù)設(shè)長度的音頻信號；

基于所述至少一個窗口信號，獲取所述至少一個音頻特征。