[發(fā)明專利]基于漢語(yǔ)文本驅(qū)動(dòng)的人臉語(yǔ)音同步動(dòng)畫的處理方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210037528.7
• 申請(qǐng)日: 2012-02-17
• 公開(kāi)（公告）號(hào): CN102609969A
• 公開(kāi)（公告）日: 2012-07-25
• 發(fā)明（設(shè)計(jì)）人: 趙群飛;杜鵬;樊延峰;鄧杰;唐品
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06T13/00
• 分類號(hào): G06T13/00
• 代理公司: 上海新天專利代理有限公司 31213
• 代理人: 張澤純

1.一種基于漢語(yǔ)文本驅(qū)動(dòng)的人臉語(yǔ)音同步動(dòng)畫的處理方法，其特征在于該方法包括下列步驟：

①采集人臉圖像：由光源將光線照在欲采集的人臉上產(chǎn)生表示人臉特征的反射光或透射光，再由CCD探測(cè)器將光信號(hào)轉(zhuǎn)換成相應(yīng)的電信號(hào)；或從存儲(chǔ)設(shè)備中讀取人臉圖像；

②人臉檢測(cè)：對(duì)步驟①所得的人臉圖像進(jìn)行預(yù)處理，然后利用AdaBoost算法檢測(cè)人臉區(qū)域；

③人臉特征提取：在步驟②所檢測(cè)到的人臉區(qū)域內(nèi)，利用ASM算法提取人臉的特征點(diǎn)，其中嘴部提取32個(gè)特征點(diǎn)，眼睛部提取20個(gè)特征點(diǎn)，鼻部和臉部外圍輪廓提取30個(gè)特征點(diǎn)；

④關(guān)鍵幀合成：根據(jù)步驟③嘴部所提取的32個(gè)特征點(diǎn)將嘴部圖像劃分為49個(gè)互不重疊的三角形區(qū)塊，根據(jù)對(duì)中文可視音素的分類和定義，運(yùn)用自由格式變形算法控制步驟③中提取到的特征點(diǎn)和所述三角形區(qū)塊在人臉平面內(nèi)移動(dòng)和格式變形，合成出相應(yīng)的人臉動(dòng)畫關(guān)鍵幀；

⑤過(guò)渡幀合成：首先，根據(jù)步驟④每相鄰兩關(guān)鍵幀的特征點(diǎn)，以時(shí)間為參數(shù)對(duì)其進(jìn)行線性插值計(jì)算出過(guò)渡幀的特征點(diǎn)，再根據(jù)該嘴部32個(gè)過(guò)渡幀的特征點(diǎn)將嘴部劃分為49個(gè)互不重疊的三角形區(qū)塊，對(duì)這些三角形區(qū)塊運(yùn)用自由格式變形算法合成出相應(yīng)的人臉動(dòng)畫過(guò)渡幀；

然后，根據(jù)16組中文可視音素和中文可視音素的定義和分類，在每相鄰兩幀關(guān)鍵幀之間插入不同數(shù)目的過(guò)渡幀；

⑥中文文本輸入：輸入中文文本或從存儲(chǔ)設(shè)備中讀取中文文本；

⑦文本分析：對(duì)步驟⑥所得到的文本內(nèi)容進(jìn)行分析，得到該文本對(duì)應(yīng)的中文可視音素流；

⑧文本語(yǔ)音轉(zhuǎn)換：將步驟⑥所得到的文本內(nèi)容轉(zhuǎn)換為聲音信號(hào)的語(yǔ)音流；

⑨動(dòng)畫流與語(yǔ)音流同步：將步驟④所合成的關(guān)鍵幀對(duì)齊到步驟⑧所轉(zhuǎn)換的語(yǔ)音流上；

⑩人臉語(yǔ)音與動(dòng)畫的同步輸出。

2.根據(jù)權(quán)利要求1所述的人臉語(yǔ)音同步動(dòng)畫的處理方法，特征在于，所述的步驟①到步驟⑤與所述的步驟⑥到步驟⑧同時(shí)進(jìn)行。

3.根據(jù)權(quán)利要求1或2所述的人臉語(yǔ)音同步動(dòng)畫的處理方法，特征在于，所述的中文可視音素的定義和分類是指按漢語(yǔ)發(fā)音時(shí)的嘴唇動(dòng)作特征，將所有的漢語(yǔ)拼音歸類為16種中文可視音素類。

4.根據(jù)權(quán)利要求1或2所述的人臉語(yǔ)音同步動(dòng)畫的處理方法，特征在于，所述的預(yù)處理是指對(duì)輸入的人臉圖像進(jìn)行平滑濾波和角度校正處理。