[發(fā)明專利]基于特征點(diǎn)的人臉表情合成方法

有效

• 申請?zhí)枺?/td>: 201210529350.8
• 申請日: 2012-12-07
• 公開（公告）號: CN103035022A
• 公開（公告）日: 2013-04-10
• 發(fā)明（設(shè)計(jì)）人: 張強(qiáng);李蓓蓓;魏小鵬
• 申請（專利權(quán)）人: 大連大學(xué)
• 主分類號: G06T13/40
• 分類號: G06T13/40;G06T15/00
• 代理公司: 大連東方專利代理有限責(zé)任公司 21212
• 代理人: 曲永祚;李洪福

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于特征點(diǎn)的人臉表情合成方法，屬于圖像處理技術(shù)領(lǐng)域。

背景技術(shù)

傳統(tǒng)的人機(jī)交互方式是基于鼠標(biāo)和鍵盤，隨著計(jì)算機(jī)圖形學(xué)及計(jì)算機(jī)硬件技術(shù)的發(fā)展，真實(shí)感人臉動畫技術(shù)為人機(jī)交互提供了更為方便的接口。在娛樂領(lǐng)域中，真實(shí)感的虛擬人已經(jīng)越來越多地被應(yīng)用到各種影視作品中。在教育領(lǐng)域，由于虛擬人臉可以產(chǎn)生各種逼真的人臉表情，更容易集中學(xué)生的注意力。虛擬人臉同樣可以在客戶關(guān)系管理中發(fā)揮作用。此外，人臉動畫技術(shù)還可以應(yīng)用到醫(yī)療、新聞廣播、廣告以及心理學(xué)等領(lǐng)域。在計(jì)算機(jī)動畫研究領(lǐng)域中，人臉表情動畫一直是一個(gè)極具挑戰(zhàn)性的問題，越來越多的學(xué)者和研究人員也不斷的提出各種人臉建模方案和表情動畫方法。因此，人臉動畫技術(shù)的提高，對于推動計(jì)算機(jī)動畫領(lǐng)域的發(fā)展及其相關(guān)應(yīng)用領(lǐng)域的技術(shù)革新具有重要意義。

1972年，Parke提出了一個(gè)人臉動畫的解決方案，此后出現(xiàn)了各種人臉動畫技術(shù)。形狀融合方法是一種常見的人臉表情動畫技術(shù)，它通過對精心挑選的人臉形狀進(jìn)行插值獲得各種面部表情。一些商業(yè)上使用的三維動畫軟件也為形狀融合動畫方法提供了特定的工具箱。形狀融合方法有兩個(gè)關(guān)鍵點(diǎn)，一個(gè)是融合形狀的構(gòu)建，另一個(gè)是相應(yīng)權(quán)重的計(jì)算，后者對于最終的動畫效果有著直接的影響。融合形狀的構(gòu)建主要是從一系列的表情形狀中挑選一些關(guān)鍵表情，需要解決兩個(gè)方面的工作，一個(gè)是關(guān)鍵表情的選取問題，挑選的關(guān)鍵表情必須能夠覆蓋整個(gè)表情空間，另一個(gè)問題是選取方式，也就是在選取這些關(guān)鍵表情時(shí)盡可能的自動化，而不需要過多的手工干預(yù)。然而，當(dāng)前很多的動畫解決方案中，關(guān)鍵表情的選取依然費(fèi)時(shí)、費(fèi)力，甚至對于專業(yè)的動畫人員也需要花費(fèi)時(shí)間去熟悉不同系統(tǒng)的操作。對于融合權(quán)重的計(jì)算，一些處理辦法是將原模型的融合權(quán)重直接應(yīng)用到了目標(biāo)模型。這樣，勢必要求原始模型和目標(biāo)模型的形態(tài)之間不能有太大的差異，否則目標(biāo)模型產(chǎn)生的表情可能會失真。形狀融合方法的最主要問題在于用線性融合形狀方法合成高度非線性的人臉表情。

此外，幾何變形方法在人臉表情動畫中使用的也比較多，根據(jù)所建立的模型差異，主要有兩類方法。一類是基于人臉物理結(jié)構(gòu)的方法，是通過預(yù)先設(shè)計(jì)的面部肌肉或者皮膚組織模仿人臉產(chǎn)生表情時(shí)相應(yīng)組織的動作。其中，模擬肌肉運(yùn)動的方法關(guān)鍵在于肌肉參數(shù)的求解。然而由于人臉的生理結(jié)構(gòu)極其復(fù)雜，精確的肌肉參數(shù)求解并不是一件容易的事情。也有研究人員建立了彈性人臉皮膚模型，通過皮膚點(diǎn)的受力分析研究其位移的變化，但是也存在彈性皮膚參數(shù)的求解難度。另一類是基于特征點(diǎn)的方法，是根據(jù)人臉網(wǎng)格中特征點(diǎn)和周圍頂點(diǎn)的關(guān)系，通過特征點(diǎn)的運(yùn)動估計(jì)所有頂點(diǎn)的運(yùn)動情況。線性殼模型是一種常見的基于特征點(diǎn)的動畫方法，它是通過偏微分方程的離散化求解頂點(diǎn)的位移。但是，由于線性殼模型的計(jì)算量較大，在實(shí)時(shí)動畫的效率方面并不占優(yōu)勢。

在形狀融合插值方法中，為了得到關(guān)鍵形狀，常用主成分分析法將人臉分割成不同的區(qū)域。然而，這種區(qū)域分割的方法在人臉動畫中會破壞不同區(qū)域之間運(yùn)動的關(guān)聯(lián)性。因此，本發(fā)明提出了一種混合人臉變形方法，可以自適應(yīng)地將人臉劃分成不同的區(qū)域，根據(jù)不同的捕捉序列，人臉區(qū)域的劃分也會有差異。首先，通過一個(gè)鄰近加權(quán)策略對整個(gè)面部進(jìn)行區(qū)域劃分，并且求解人臉模型上頂點(diǎn)的局部變形。假定人臉網(wǎng)格上頂點(diǎn)的局部運(yùn)動情況主要受到其鄰近特征點(diǎn)運(yùn)動的影響，這樣，只要獲得了每個(gè)鄰近特征點(diǎn)對頂點(diǎn)運(yùn)動的影響權(quán)重，頂點(diǎn)的運(yùn)動情況即可求出。在求解特征點(diǎn)對頂點(diǎn)的影響權(quán)重時(shí)，需要計(jì)算頂點(diǎn)和特征點(diǎn)之間的距離信息。由于人臉是一個(gè)具有開放區(qū)域的曲面結(jié)構(gòu)，很多涉及求解人臉面部上兩點(diǎn)間距離的問題都近似成求解連接兩個(gè)頂點(diǎn)的邊的長度，這種近似方法沒有充分考慮人臉網(wǎng)格的特殊結(jié)構(gòu)。本發(fā)明采用精確的測地距求解人臉面部上兩個(gè)頂點(diǎn)之間的距離。而且，求解特征點(diǎn)權(quán)重時(shí)，使用了更加符合肌肉運(yùn)動機(jī)理的余弦函數(shù)。然后，為了使動畫過程中人臉網(wǎng)格更加光順，使用基于徑向基函數(shù)的插值方法來實(shí)現(xiàn)全局變形。最終的表情動畫是通過將全局變形和局部變形融合在一起得到的。

發(fā)明內(nèi)容

本發(fā)明針對以上問題的提出，而研制基于混合變形策略的人臉動畫合成方法，該方法通過基于鄰近特征點(diǎn)加權(quán)的局部變形方法，解決人臉動畫過程中的區(qū)域分割問題，通過全局變形策略解決人臉網(wǎng)格的光順問題，從而有效避免了動畫過程中的失真情況，并且該方法相對簡單，計(jì)算量較小，可以有效地保證動畫的效率。

本發(fā)明采取的技術(shù)方案是：本發(fā)明包括如下幾步驟，

第一步：表情空間的轉(zhuǎn)換。

第二步：基于鄰近特征點(diǎn)加權(quán)的局部變形策略，其有以下幾個(gè)步驟。

步驟1：確定頂點(diǎn)的鄰近區(qū)域。

步驟2：基于鄰近特征點(diǎn)的加權(quán)方法。

步驟3：局部變形的計(jì)算。