[發(fā)明專(zhuān)利]一種基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110770714.0
• 申請(qǐng)日: 2021-07-07
• 公開(kāi)（公告）號(hào): CN113838169A
• 公開(kāi)（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 樊養(yǎng)余;陳朋瑞;劉洋;何雯清;郭哲;王毅
• 申請(qǐng)（專(zhuān)利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類(lèi)號(hào): G06T13/20
• 分類(lèi)號(hào): G06T13/20;G06T13/40;G10L13/02;G10L13/08
• 代理公司: 西安嘉思特知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61230
• 代理人: 王萌

1.一種基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，包括：

步驟1、根據(jù)輸入的文本合成語(yǔ)音，并根據(jù)所述文本得到情感標(biāo)簽；

步驟2、從合成的所述語(yǔ)音中提取元音音素；

步驟3、基于Blendshape模型，根據(jù)所述情感標(biāo)簽、所述元音音素得到動(dòng)畫(huà)。

2.根據(jù)權(quán)利要求1所述的基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，根據(jù)輸入的文本合成語(yǔ)音，包括：

創(chuàng)建文本語(yǔ)音合成應(yīng)用并獲取用于語(yǔ)音合成的API Key和Secret Key，根據(jù)所申請(qǐng)的語(yǔ)音合成項(xiàng)目的APIKey與SecretKey獲取Access Token，以得到請(qǐng)求憑證，根據(jù)獲取到的語(yǔ)音合成項(xiàng)目的Access Token發(fā)送文本請(qǐng)求語(yǔ)音合成，以將輸入的文本合成語(yǔ)音。

3.根據(jù)權(quán)利要求1所述的基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，根據(jù)所述文本得到情感標(biāo)簽，包括：

創(chuàng)建文本情感分析應(yīng)用并獲取用于文本情感分析的API Key和Secret Key，根據(jù)所申請(qǐng)的文本情感分析項(xiàng)目的APIKey與SecretKey獲取Access Token，以得到請(qǐng)求憑證，根據(jù)獲取到的文本情感分析項(xiàng)目的Access Token發(fā)送文本請(qǐng)求分析文本情感，以得到情感標(biāo)簽。

4.根據(jù)權(quán)利要求1所述的基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，所述步驟2包括：

步驟2.1、利用分幀加窗方法對(duì)所述語(yǔ)音進(jìn)行分幀處理，以得到若干第一子語(yǔ)音；

步驟2.2、利用短時(shí)平均能量方法對(duì)所述第一子語(yǔ)音進(jìn)行端點(diǎn)檢測(cè)，得到所述第一子語(yǔ)音的短時(shí)平均能量；

步驟2.3、根據(jù)所述第一子語(yǔ)音的短時(shí)平均能量和閾值ε得到第二子語(yǔ)音，所述第二子語(yǔ)音為含有聲音的語(yǔ)音；

步驟2.4、基于多分辨率LPC法，根據(jù)所述第二子語(yǔ)音得到共振峰和共振峰頻率；

步驟2.5、將所述共振峰的共振峰頻率與不同元音的共振頻率進(jìn)行比較，以從所述共振峰中獲取語(yǔ)音中的元音音素。

5.根據(jù)權(quán)利要求4所述的基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，所述步驟2.4包括：

步驟2.41、對(duì)伸縮因子和時(shí)移因子進(jìn)行離散，以得到離散化后的所述伸縮因子和所述時(shí)移因子；

步驟2.42、基于離散化后的所述伸縮因子和所述時(shí)移因子，利用DWT按照不同的頻帶對(duì)所述第二子語(yǔ)音進(jìn)行等頻帶分解，以得到第三子語(yǔ)音；

步驟2.43、利用多分辨率LPC法對(duì)所述第三子語(yǔ)音進(jìn)行處理，以得到所述共振峰，并利用峰值檢測(cè)法，根據(jù)LPC譜分析出所述共振峰的共振峰頻率。

6.根據(jù)權(quán)利要求5所述的基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，利用峰值檢測(cè)法，根據(jù)LPC譜分析出所述共振峰的共振峰頻率，包括：

根據(jù)所述第三子語(yǔ)音和所述第三子語(yǔ)音的近似值得到預(yù)測(cè)系數(shù)；

基于聲道傳遞的全極點(diǎn)模型，根據(jù)所述預(yù)測(cè)系數(shù)得到所述全極點(diǎn)模型的頻率特性；

對(duì)所述頻率特性取功率譜模值得到LPC譜；

利用峰值檢測(cè)法檢測(cè)所述LPC譜的峰值得到所述共振峰的共振峰頻率。

7.根據(jù)權(quán)利要求6所述的基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，根據(jù)所述第三子語(yǔ)音和所述第三子語(yǔ)音的近似值得到預(yù)測(cè)系數(shù)，包括：

將前p個(gè)所述第三子語(yǔ)音進(jìn)行線性組合得到第n個(gè)所述第三子語(yǔ)音的近似值；

根據(jù)所述第三子語(yǔ)音與所述近似值之差得到預(yù)測(cè)誤差；

基于最小均方誤差準(zhǔn)則，根據(jù)所述預(yù)測(cè)誤差得到均方誤差值；

使所述均方誤差值對(duì)預(yù)測(cè)系數(shù)進(jìn)行偏微分并使偏微分結(jié)果為0，以得到所述預(yù)測(cè)系數(shù)。

8.根據(jù)權(quán)利要求1所述的基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，其特征在于，所述步驟3包括：

步驟3.1、根據(jù)六個(gè)基本口型模型和兩個(gè)基本表情模型制作Blendshape模型；

步驟3.2、基于所述Blendshape模型，根據(jù)所述情感標(biāo)簽、所述元音音素和所述元音音素的起止時(shí)間，將對(duì)應(yīng)的基本口型模型和基本表情模型融合得到所述動(dòng)畫(huà)。