[發明專利]一種復雜表情仿真系統及其實現方法

無效

• 申請號: 200610153032.0
• 申請日: 2006-09-20
• 公開（公告）號: CN101149840A
• 公開（公告）日: 2008-03-26
• 發明（設計）人: 楊斌;賈培發
• 申請（專利權）人: 清華大學
• 主分類號: G06T15/00
• 分類號: G06T15/00
• 代理公司: 北京爾海知識產權代理事務所
• 代理人: 姜麗樓

技術領域

本發明涉及一種計算機仿真的方法和系統，特別是一種計算機自動生成復雜的仿真人臉表情的方法，以及依照這種方法建立的復雜表情仿真系統。

背景技術

人臉表情是人類非語言信息傳遞的一個重要途徑，也是人類情感交互的一個重要方面。如果計算機能利用軟件或硬件系統通過表情表達的方式與人類進行交互，那么就會顯得更加的人性化，更符合人們的審美要求。能簡單的進行控制，生成各種復雜表情的系統將有著無比的應用前景，它可以用于許多的研究領域以及應用領域，如情感計算、人機交互(包括計算機動畫、智能機器人)等研究領域，教育、醫療、娛樂、通信等應用領域。

目前比較成型的人臉表情仿真生成方法有臉部運動編碼系統(FACS)以及MPEG-4的臉部定義參數(FDP)和運動參數(FAP)組合。

在1978年，Ekman和Friesen研究了6種基本表情(即高興、悲傷、驚訝、恐懼、憤怒和厭惡)，系統地建立了含有上千幅不同的人臉表情的圖象庫，并開發了面部運動編碼系統(Facial?Action?Coding?System，FACS)來描述人臉部表情。根據人臉的解剖學特點，他們將人臉劃分為大約46個既相互獨立又相互聯系的運動單元(Action?Unit，AU)，并分析了這些運動單元的運動特點、每個單元控制的臉部區域以及相關的表情，同時還給出了大量的照片作為說明。FACS是人臉上所有導致面部運動的運動單元的枚舉。

在后來的研究中，由于人自身在多媒體中占據著十分重要的位置，所以在MPEG-4中對三維人臉動畫格式定義了一個國際標準。這是一整套人臉模型化描述方法，包括用于定義人臉模型的面部定義參數FDP(facial?define?parameters)和一組用于定義人臉面部動作的人臉動畫參數FAP(facial?animation?parameter)。FDP共包括了84個特征點的位置信息來定義人臉模型，這些點不僅包括外表看得見的人臉特征點，還包括了舌頭、牙齒等口腔內器官的特征點。FDP參數包括特征點坐標、紋理坐標、網格的標度、面部紋理、動畫定義表等臉部的特征參數。與靜態的FDP參數相對應的是動態的FAP參數，它分為10組，分別描述人面部的68種基本運動和6種基本表情。FAP是一個完整的臉部基本運動的集合，每種FAP描述人臉某一塊區域在某個方向上的運動，比如FAP19描述左眼上眼皮的上下運動，把所有FAP結合起來就可以表示人臉復雜的表情。

在仿真表情生成方面，這兩種方法都分別有著成熟的應用，但也存在不同的弱點。

FACS的主要弱點是：人的臉部是一個柔軟的整體而不是一個剛體，運動單元是局部化的空間模板，而局部化的模板無法組合形成所有的臉部表情，因此在FACS系統中很難表達精細的表情。

而MPEG-4方法的主要弱點是：由于FAP定義來自于計算機動畫的應用，定義的是人臉表面的形變，因此比較適合在計算機動畫領域生成仿真表情，但難以擴展應用到其他領域，如仿人機器人等。

發明內容

本發明的目的是針對上述問題提供一種計算機自動生成復雜的仿真人臉表情的方法，以及依照這種方法而建立的復雜表情仿真系統，以克服上述幾種人臉表情仿真生成方法的不足。

本發明的一個方面是提供一種復雜表情仿真系統，該系統包括一個用于生成人臉三維模型的人臉采集模塊，一個與所述人臉采集模塊相連接，用于分析人臉三維模型，生成表情對象和控制對象的控制對象生成模塊，一個用于存儲基礎表情參數的基礎表情數據庫模塊，一個用于存儲組合表情的組合表情數據庫模塊，一個與所述基礎表情數據庫模塊和組合表情數據庫模塊相連接，根據組合表情生成組合表情參數的表情合成模塊，和一個與所述控制對象生成模塊和表情合成模塊相連接，負責根據輸入控制參數，控制各控制對象生成人臉復雜仿真表情的表情生成模塊。

本發明所述的基礎表情數據庫模塊存儲各種基礎表情的名稱以及控制參數，控制參數是通過對顯示基礎表情的人臉三維模型的控制參數的記錄得到。

本發明所述的組合表情數據庫模塊存儲負責表情的名稱以及合成復雜表情的各個基礎表情的名稱及組合參數。