[發明專利]一種虛擬人眼部情感表現模擬方法

無效

• 申請號: 201110058121.8
• 申請日: 2011-03-10
• 公開（公告）號: CN102129706A
• 公開（公告）日: 2011-07-20
• 發明（設計）人: 黃琪;樊養余;呂國云;齊敏;王毅;賈蒙
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T13/40
• 分類號: G06T13/40
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 顧潮琪

技術領域

本發明涉及計算機視覺領域，尤其涉及三維人臉動畫研究領域。

背景技術

人臉是每個人的重要特征之一，通過它我們可以識別他人身份、觀察他人心情、領悟其健康狀態等。近年來，隨著計算能力的飛速提高和網絡應用的蓬勃發展，人臉動畫研究再次成為計算機視覺以及人機交互中非常活躍的領域。而眼睛作為面部重要的感覺器官和關鍵的情感載體，在傳遞信息和情感表達等方面都起著不可替代的作用，但同時眼睛生理結構十分復雜，眼部運動非常豐富，故如何在計算機世界里再現具有真實感的眼部運動一直是人臉動畫研究中的一個有著重要意義同時又極具挑戰性的課題。

一直以來，人們對人臉動畫的研究已經很多，專門針對眼睛的研究則相對較少。但鑒于眼睛在表現情感方面的重要作用，近年來對眼睛動畫的研究也越來越多。主要可以分為以下幾個方面：

1.物理運動模擬

作為人臉動畫的一部分，從運動的角度對眼睛進行動畫建模。其中主要有參數模型、肌肉模型、抽象肌肉動作模型和物理模型等。而在此基礎上，主要的動畫方法有基于MPEG-4參數的人臉表情動畫和基于Waters肌肉模型的人臉表情動畫。

MPEG-4的動畫方法主要基于MPEG-4標準中對三維人臉格式的定義。該標準中定義了FDP(Facial?Definition?Parameter，人臉定義參數)和FAP(Facial?Animation?Parameter，人臉動畫參數)兩套參數，其中FDP定義人臉的形狀、紋理等特征，而FAP則描述人臉的運動。FDP共包括了84個特征點的位置信息來定義人臉模型，這些點不僅包括外表看得見的人臉特征點，還包括了舌頭、牙齒等口腔內器官的特征點。FDP參數包括特征點坐標、紋理坐標、網格的標度、紋理面部、動畫定義表等臉部的特征參數。FAP是MPEG-4標準中定義的一組人臉動畫參數，可以再現絕大多數自然的人臉表情和唇動。MPEG-4共有68個FAP，其中FAPI和FAPZ被稱作高級FAP，可以預先定義好一些基本的、不同的唇形，其他的唇形可以由這些基本的唇形線性組合而成；同樣，表情FAP也可用幾種基本的表情線性組合出各種豐富的表情。除高級FAP外，其他的普通FAP分別定義了人臉某一小區域的運動。除高級FAP外，其他的普通FAP分別定義了人臉一些小區域的運動和頭部的轉動，其中左眼和右眼上眼皮的上下運動則分別通過FAP19和FAP20描述。這些運動描述了人臉表情很細致的變化，譬如眉毛的上翹和嘴角的撅起，并且這些FAP都和FDP中定義的組有密切的關系。

而基于肌肉模型的動畫方法主要基于Waters的肌肉模型。該肌肉模型將肌肉分為兩個類型：起拉伸作用的線性/平行肌和起收縮作用的括約肌。線性肌肉的一端依附在骨頭上，因而是靜態的，另一端深入皮膚的軟組織。通過肌肉直接移動在其影響域內的質點變形網格，來模擬臉部表情。在Waters的方法中，一個肌肉的定義包括：向量域(影響域)方向、初始點和插入點坐標以及位移大小等。由于此模型的簡潔性和臉部網格的獨立性，它被廣泛的使用。上述兩種人臉動畫方法的基本思想都是先按照一定的原則在三維人臉網格模型上選擇控制點，再由控制點的運動位移和它對非控制點的影響因子，計算出非控制點的運動位移，最后根據計算結果移動非控制點，進而驅動三維網格模型運動。這兩種方法中都沒有專門針對人眼閉合運動給出具體的網格點運動控制方法。同時，由于受到所選取的控制點位置和數目的限制，許多對眼部運動效果起到重要作用但沒有被選作控制點的其他網格點則只能通過某種控制算法在控制點的驅動下進行運動位移，其運動規律不清晰，無法逼真的模擬人眼閉合運動，仿真結果的真實性較差。

2.眼睛運動模擬

除了對眼外部區域的運動模擬以外，對眼部動畫的模擬還集中在對眼睛(眼球)運動的模擬。人們基于Kendon和Argyle對gaze在社會交往中的作用的研究分析各種眼睛運動對情感變化和信息交流所起到的具體作用并根據自己的研究對眼睛運動進行多樣的行為建模。其中主要是對eye?gaze行為的研究和行為建模。例如，Colburn等提出了一種分層狀態機的方法。Pelachaud等基于眼睛跟蹤數據利用Bayesian?Belief?Net產生多樣的gaze行為。同時，也人對眨眼頻率與情感的關系進行研究并提出一系列不同情緒下對應的眨眼頻率。例如，高頻率(36blinks/min)能傳遞消極情緒。而較低頻率的眨眼(9blink/min)能給人睿智的印象。這些研究提高了眼部運動模擬的真實感，但都沒有涉及對人眼閉合運動的研究，因此存在一定的局限性。

3.對人眼閉合運動的模擬