[發(fā)明專利]一種基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110770714.0
• 申請(qǐng)日: 2021-07-07
• 公開（公告）號(hào): CN113838169A
• 公開（公告）日: 2021-12-24
• 發(fā)明（設(shè)計(jì)）人: 樊養(yǎng)余;陳朋瑞;劉洋;何雯清;郭哲;王毅
• 申請(qǐng)（專利權(quán)）人: 西北工業(yè)大學(xué)
• 主分類號(hào): G06T13/20
• 分類號(hào): G06T13/20;G06T13/40;G10L13/02;G10L13/08
• 代理公司: 西安嘉思特知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 61230
• 代理人: 王萌

本發(fā)明公開了一種基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，虛擬人微表情表達(dá)方法包括：步驟1、根據(jù)輸入的文本合成語音，并根據(jù)所述文本得到情感標(biāo)簽；步驟2、從合成的所述語音中提取元音音素；步驟3、基于Blendshape模型，根據(jù)所述情感標(biāo)簽、所述元音音素得到動(dòng)畫。本發(fā)明在提取合成語音中的共振峰時(shí)，針對(duì)LPC法局部分析能力較差的問題，提出改進(jìn)的多分辨率LPC法分析語音中的共振峰信息，利用小波變換的多頻帶分解、可獲取局部特征、可同時(shí)對(duì)頻域及時(shí)域定位的特性，與LPC分析法相結(jié)合。

技術(shù)領(lǐng)域

本發(fā)明屬于虛擬現(xiàn)實(shí)和數(shù)字信號(hào)處理技術(shù)領(lǐng)域，具體涉及一種基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法。

背景技術(shù)

隨著社會(huì)的不斷進(jìn)步和科技的不斷發(fā)展，人們的交流不僅僅局限于現(xiàn)實(shí)生活中，更多的是來自于虛擬空間。虛擬人微表情表達(dá)方法主要應(yīng)用于虛擬人人臉動(dòng)畫技術(shù)上，虛擬人臉動(dòng)畫及其顯示已經(jīng)普及于各行各業(yè)中，如虛擬主播、虛擬導(dǎo)游、電影電視等。現(xiàn)如今，在人們的日常聊天方式中，占據(jù)主導(dǎo)地位的是以微信、QQ等軟件為工具的網(wǎng)絡(luò)文字式聊天。人們更迫切的希望在虛擬世界中建立如現(xiàn)實(shí)世界中的“面對(duì)面”式聊天。在這種需求下，虛擬人微表情表達(dá)方法成為近年來的研究熱點(diǎn)。

虛擬人微表情表達(dá)方法同時(shí)包括口型變化方法與表情變化方法，且要與語音輸出同步，這樣可傳輸使用者所要表達(dá)的絕大部分信息。該技術(shù)含多項(xiàng)學(xué)科內(nèi)容，包括三維人臉重建研究、口型及表情變化的運(yùn)動(dòng)規(guī)律研究、面部色彩的自然協(xié)調(diào)規(guī)則發(fā)現(xiàn)、口型及表情與語音的協(xié)調(diào)研究等。在應(yīng)用價(jià)值上，虛擬人微表情表達(dá)方法在娛樂、服務(wù)業(yè)、商業(yè)及教育等領(lǐng)域有著廣泛的應(yīng)用，并隨著該技術(shù)的發(fā)展，其應(yīng)用領(lǐng)域也將繼續(xù)擴(kuò)大。

在人機(jī)交互系統(tǒng)中，良好的視覺感受是吸引用戶的首要因素。所謂虛擬人微表情表達(dá)方法，究其根本，就是在計(jì)算機(jī)合成三維人臉模型的基礎(chǔ)上以一定的方法對(duì)人臉進(jìn)行運(yùn)動(dòng)控制。對(duì)于現(xiàn)有的虛擬人微表情表達(dá)方法存在如下問題：

1)現(xiàn)有的虛擬人微表情表達(dá)大多是基于英文文本，基于漢語文本的表達(dá)方法研究較少；

2)目前的基于文本驅(qū)動(dòng)的微表情表達(dá)方法是將文本轉(zhuǎn)化為拼音并從拼音中分析音素，得到動(dòng)畫幀，從事先建好的漢語發(fā)音庫中得到語音幀，然后將動(dòng)畫幀與語音幀對(duì)應(yīng)拼接起來得到動(dòng)畫，這樣得到的語音每個(gè)字發(fā)音時(shí)間相同，不包含情感，較為機(jī)械，且語音與動(dòng)畫同步性能較差；

3)可從語音中進(jìn)行端點(diǎn)檢測并利用共振峰提取音素，并用于口型表達(dá)方法中。在一般情況下對(duì)于短時(shí)平穩(wěn)的信號(hào)利用LPC(Linear Predictive Coding，線性預(yù)測編碼)方法可以正確的提取出共振峰參數(shù)，但LPC方法將聲道傳遞函數(shù)假設(shè)為全極點(diǎn)模型，且在線性尺度上對(duì)所有頻率的模型進(jìn)行相同的分析，但人類的耳朵對(duì)所有的頻率不具有相同的敏感性，人耳對(duì)頻率的敏感性接近于對(duì)數(shù)的形式。LPC分析系統(tǒng)有時(shí)會(huì)將極點(diǎn)置于耳朵并不敏感的高頻處，而在耳朵較為敏感的低頻處忽略排布緊密的共振峰，即在局部低頻處的分辨率較低；

4)現(xiàn)有的虛擬人表達(dá)方法中，大部分只注重于語音及口型的協(xié)調(diào)同步，將口型與表情同時(shí)匹配并表達(dá)呈現(xiàn)出來的方法較少，且多利用參數(shù)模型通過調(diào)參的方法生成動(dòng)畫，對(duì)微表情的實(shí)現(xiàn)效果較差，輸出動(dòng)畫比較僵硬。

因此，如何服直接從文本信息中獲取音素使表達(dá)輸出較為機(jī)械的問題，成為了亟待解決的問題。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中存在的上述問題，本發(fā)明提供了一種基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法。本發(fā)明要解決的技術(shù)問題通過以下技術(shù)方案實(shí)現(xiàn)：

一種基于文本驅(qū)動(dòng)的虛擬人微表情表達(dá)方法，包括：

步驟1、根據(jù)輸入的文本合成語音，并根據(jù)所述文本得到情感標(biāo)簽；

步驟2、從合成的所述語音中提取元音音素；

步驟3、基于Blendshape模型，根據(jù)所述情感標(biāo)簽、所述元音音素得到動(dòng)畫。