[發(fā)明專利]為計算機圖形動畫制作跟蹤面部肌肉和眼睛運動的系統(tǒng)和方法

無效

• 申請?zhí)枺?/td>: 200580040721.4
• 申請日: 2005-09-29
• 公開（公告）號: CN101069214A
• 公開（公告）日: 2007-11-07
• 發(fā)明（設(shè)計）人: M·薩加;R·斯科特
• 申請（專利權(quán)）人: 索尼電影娛樂公司;索尼株式會社
• 主分類號: G06T15/70
• 分類號: G06T15/70
• 代理公司: 中國專利代理(香港)有限公司
• 代理人: 曾祥夌;張志醒

相關(guān)申請數(shù)據(jù)

本專利申請依據(jù)35U.S.C.§119(c)要求如下臨時專利申請的優(yōu)先權(quán)：(a)2004年10月4日提交的序列號60/616,049標題為“捕捉面部和眼睛運動的系統(tǒng)和方法”(SYSTEM?AND?METHOD?FORCAPTURING?FACIAL?AND?EYE?MOTION)；以及(b)2004年10月1日提交的序列號＿＿＿＿標題為“在無視覺面部臉部捕捉的情況下跟蹤面部特征移動”(TRACKING?OF?FACIAL?FEATUREMOVEMENTS?WITHOUT?VISUAL?FACE?CAPTURE)。

技術(shù)領(lǐng)域

本發(fā)明涉及三維圖形和動畫，更具體地說，涉及不使用攝像機而能夠捕捉表演者的面部和眼睛運動以在制作計算機圖形動畫中使用的運動跟蹤系統(tǒng)。

背景技術(shù)

使用運動捕捉系統(tǒng)捕捉真實對象的運動，并將其映射到計算機生成的對象上。此類系統(tǒng)常常應(yīng)用于運動圖片和視頻游戲的制作中以創(chuàng)建用作創(chuàng)建計算機圖形(CG)動畫的源數(shù)據(jù)的人的數(shù)字表示。在典型的系統(tǒng)中，表演者穿戴具有附著在不同位置的標記器(例如具有附著于身體和肢體的小反應(yīng)式標記器)的套裝，并且數(shù)字攝像機在照射這些標記器時從不同角度記錄表演者的移動。系統(tǒng)然后分析圖像以確定表演者套裝上的標記器在每個幀中的位置(例如作為空間坐標)和方向。通過跟蹤標記器的位置，系統(tǒng)創(chuàng)建不同時間上標記器的空間表示，并構(gòu)建運動中的表演者的數(shù)字表示。然后將該運動應(yīng)用于數(shù)字模型，然后對其施加紋理和渲染以制作演員和/或表演的完成CG表示。這種技術(shù)已被特殊效果公司用于在許多流行電影中制作令人難以置信的逼真動畫。

運動捕捉系統(tǒng)還用于跟蹤演員的面部特征的運動以創(chuàng)建演員的面部運動和表情(例如大笑、哭、微笑等)的表示。與身體運動捕捉一樣，將標記器附著于演員的面部，并且攝像機記錄演員的表情。因為較之身體移動中所涉及的更大肌肉，面部移動涉及相對較小的肌肉，所以面部標記器通常遠小于對應(yīng)的身體標記器，并且攝像機通常比常常用于身體運動捕捉的攝像機具有更高分辯率。通常將攝像機與演員的物理移動共平面對齊，同時限定保持攝像機聚焦于演員的面部上。可以將面部運動捕捉系統(tǒng)集成在頭盔或物理附著于演員的其他裝備中，以便統(tǒng)一地照射面部標記器并將攝像機與面部之間的相對移動的程度將至最小。

運動捕捉系統(tǒng)相對于傳統(tǒng)動畫技術(shù)(例如關(guān)鍵幀處理)的優(yōu)點在于能夠?qū)崿F(xiàn)實時可視化。制作團隊可以實時地或接近實時地復查表演者的運動的空間表示，從而使演員能夠改變物理表現(xiàn)以便捕捉最優(yōu)數(shù)據(jù)。而且，運動捕捉系統(tǒng)檢測使用其他動畫技術(shù)無法容易再現(xiàn)的物理移動的細微差異，由此獲得更精確地反映自然移動的數(shù)據(jù)。作為結(jié)果，利用采用運動捕捉系統(tǒng)收集的源材料創(chuàng)建的動畫將展現(xiàn)出更生動的外觀。

盡管運動捕捉系統(tǒng)有這些優(yōu)點，常規(guī)運動捕捉系統(tǒng)的缺點是它們無法捕捉眼睛運動。因為標記器無法貼附于表演者的眼睛，所以運動捕捉攝像機檢測不到眼睛移動。然后必須在后續(xù)CG動畫過程中添加此眼睛移動。除了使得動畫過程更麻煩外，所產(chǎn)生的動畫產(chǎn)品欠缺逼真性，因為它無法包括表演期間產(chǎn)生的細微眼睛移動。

依賴于攝像機的常規(guī)運動捕捉系統(tǒng)的另一個缺點在于，因與例如道具或其他演員的其他對象的干擾而可能遮擋表演者的運動數(shù)據(jù)。確切地說，如果身體或面部標記器的一部分被阻擋在數(shù)字攝像機的視場外，則收集不到有關(guān)該身體或面部部分的數(shù)據(jù)。這導致運動數(shù)據(jù)中的遮擋或空洞。雖然可以在稍后后期制作期間使用常規(guī)計算機圖形技術(shù)填補遮擋，但是填補數(shù)據(jù)欠缺實際運動數(shù)據(jù)的質(zhì)量，從而導致可被觀眾識別出的動畫缺陷。為了避免此問題，常規(guī)運動捕捉系統(tǒng)限制了可以一次性捕捉的對象的數(shù)量，例如限于一個表演者。這還往往使運動數(shù)據(jù)看上去不夠逼真，因為表演者的表演的質(zhì)量常常取決于與其他演員和對象的互動。而且，難以將這些分離的表演以看上去自然的方式組合在一起。

在娛樂業(yè)界之外，有許多其他情況，期望捕捉或跟蹤面部肌肉和/或眼睛移動，而不會有對光學攝像機的依賴。例如，自動語音識別設(shè)備、門禁系統(tǒng)、用于個人簡檔和/或醫(yī)療/牙醫(yī)篩選系統(tǒng)的電子存儲和檢索系統(tǒng)均可以利用此類分析技術(shù)。利用面部特征分析的語音識別系統(tǒng)可以在難以單獨使用聲音語音識別的噪聲環(huán)境(例如軍用飛機上或工廠里)中得以廣泛的應(yīng)用。這些潛在應(yīng)用的每個環(huán)境目前欠缺用于精確地將個人面部特征轉(zhuǎn)換成有用的電子數(shù)據(jù)的有效部件。在此人相對于檢測設(shè)備不斷改變面部朝向的情況中尤其存在問題。