[發明專利]用來捕捉面部和身體動作的系統和方法

有效

• 申請號: 200580047644.5
• 申請日: 2005-11-30
• 公開（公告）號: CN101379530A
• 公開（公告）日: 2009-03-04
• 發明（設計）人: D·戈登
• 申請（專利權）人: 索尼株式會社;索尼電影娛樂公司
• 主分類號: G06T15/00
• 分類號: G06T15/00
• 代理公司: 中國專利代理(香港)有限公司
• 代理人: 張雪梅;張志醒

相關申請的交叉引用

本申請要求根據35?U.S.C.§120的優先權，作為于2003年5 月1日提交的題為“System?and?Method?for?Capturing?Facial?and Body?Motion.”的美國專利申請序列號10/427,114的部分延續。

技術領域

本發明涉及三維圖形和動畫，并且更具體地說，涉及動作捕捉系 統，該系統在能夠包含多個行動者的容積(volume)里面能夠同時 捕捉面部和身體動作。

背景技術

動作捕捉系統被用來捕捉實物的運動并且將它映射到計算機產 生的物體上。在運動畫面和視頻游戲的制作中經常使用這樣的系統 來生成人的數字表示，該人的數字表示被用作產生計算機圖形(CG) 動畫的源數據。在典型系統中，行動者穿著具有附著在各個位置的 標志(例如具有附著到身體和四肢的反射標志)的衣服，并且數字 攝像機在照亮這些標志的同時從不同的角度記錄行動者的運動。然 后該系統分析這些圖像以確定在每一幀中行動者的衣服上的標志的 位置(例如按空間坐標)和方向。通過跟蹤這些標志的位置，該系 統創建這些標志隨時間的空間表示并且建立運動中的行動者的數字 表示。然后，該運動可以應用于數字模型，其然后可以被構造和再 現以制作行動者和/或行為的完整的CG表示。該技術已經被特技效 果公司用來在許多流行電影中制作非常逼真的動畫。

動作捕捉系統也被用來跟蹤行動者的面部特征的動作以產生行 動者的面部動作和表情(例如笑、哭、微笑等)的表示。與身體動 作捕捉一樣，標志被附著到行動者的面部上并且攝像機記錄行動者 的表情。因為與身體運動所涉及的較大的肌肉相比面部運動涉及相 對小的肌肉，因此面部標志一般比相應的身體標志小得多，并且這 些攝像機一般具有比通常用來捕捉身體運動的攝像機高的分辨率。 這些攝像機一般與行動者的身體移動在共同的平面內排成直線，所 述行動者的身體移動被限制以使這些攝像機聚焦在行動者的面部 上。面部動作捕捉系統可以被并入物理地附著到行動者的頭盔或其 他工具中以便均勻地照射面部標志并且使攝像機和面部之間的相對 運動程度最小化。為此，通常在分開的步驟中捕捉面部動作和身體 動作。然后結合捕捉的面部動作數據和稍后捕捉的身體動作數據作 為隨后的動畫過程的一部分。

動作捕捉系統優于傳統的動畫技術例如關鍵幀(keyframing)的 優點是能夠實時可視化。制作團隊可以實時或接近實時地回顧行動 者的動作的空間表示，使行動者能夠改變身體行為以便捕捉最優的 數據。此外，動作捕捉系統檢測身體移動的精妙細微的差別，其不 容易利用其他的動畫技術來再現，由此產生更精確地反映自然運動 的數據。因此，利用使用動作捕捉系統收集的源材料產生的動畫將 呈現更逼真的景象。

雖然動作捕捉系統有這些優點，但是分開捕捉面部和身體動作經 常會導致并不真實地逼真的動畫。面部動作和身體動作不可避免地 相關聯，使得面部表情經常被相應的身體動作增強。例如，行動者 可以利用某種身體動作(即身體語言)來交流感情和強調相應的面 部表情，例如在興奮地談話時利用手臂擺動或在生氣時聳肩。當分 開地捕捉動作時會失去面部動作和身體動作之間的這種聯系，并且 難以使這些分開捕捉的動作吻合在一起。當面部動作和身體動作被 結合時，最后所得的動畫經常會看起來明顯不正常。因為動作捕捉 的目的是能夠形成格外逼真的動畫，因此面部和身體動作的分離說 明了常規動作捕捉系統的重大缺陷。

常規動作捕捉系統的另一缺點是行動者的動作數據有可能被其 他對象例如道具或其他行動者的干擾所遮蔽。特別地，如果身體或 面部標志的一部分從數字攝像機的視場被遮住，則涉及該身體或面 部部分的數據就不會被收集。這導致動作數據中的遮掩或缺陷。雖 然稍后在后期制作過程中可以利用常規的計算機制圖技術填補該遮 掩，但是該填補數據缺少實際動作數據的質量，導致能夠被觀看的 觀眾識別的動畫缺陷。為避免該問題，常規動作捕捉系統限制一次 能夠捕捉的對象的數目例如為單個行動者。這也易于使動作數據看 起來不那么逼真，因為行動者的行為質量經常取決于與其他行動者 和對象的相互作用。此外，難以以看起來自然的方式將這些獨立的 行為結合在一起。