[發明專利]混合式精確跟蹤

在審

• 申請號: 201380031618.8
• 申請日: 2013-04-10
• 公開（公告）號: CN104584032A
• 公開（公告）日: 2015-04-29
• 發明（設計）人: 牛頓·艾利奧特·邁克;菲利普·R·馬斯
• 申請（專利權）人: 萊特克拉夫特科技有限責任公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 張瑞;鄭霞

相關申請的交叉引用

本申請要求2012年4月13日遞交的、序列號為61/624,145的共同未決的臨時申請的權益，且在此通過引用將其全部內容并入，以及要求于2013年3月14日遞交的、序列號為61/785,517的共同未決的臨時申請的權益，且在此通過引用將其全部內容并入。

技術領域

本申請涉及用于將視頻、電影、數字式攝像機等中的真實場景元素與虛擬攝像機中的虛擬場景元素結合成最終的合成圖像的系統和方法，并且更具體地，涉及用于使虛擬場景元素與實景拍攝(live?action)場景元素以高精確度相匹配的系統和方法。

背景

將真實世界影像與另一種來源中的另外的影像相結合，需要針對每個圖像的哪些部分將被用在最終的合成圖像中進行小心控制。一個常見應用是將通過計算機生成的圖像與從傳統的電影、視頻或數碼攝像機獲得的圖像相結合。為了無縫結合這些圖像，從虛擬場景攝像機的角度看的攝像機參數必須緊密匹配于實景拍攝攝像機的參數。此外，針對在片場和在現場的應用的用途，必須快速完成虛擬場景和實景拍攝場景之間的匹配，優選地大約在短短幾毫秒內完成匹配，以便在每秒24到30幀的標準電影和電視制作的幀速率下是可用的。

可以以各種方式實現跟蹤實景拍攝攝像機和鏡頭。(參見2010年7月8日遞交的、序列號為12/832,480的、題目為“Methods?and?Systems?for?Calibrating?an?Adjustable?Lens”的美國專利申請，其在2011年2月3日以出版物編號20110026014進行公布，且被發布為美國專利8,310,663('663)，在此通過引用將其全部內容并入。)對實景拍攝攝像機的位置和方向的測量可以通過利用光學編碼器解算出位于場景上空或者場景中的基準標記的姿勢、通過利用慣性加速計挨個匹配圖像的高對比度點、以及領域中常見的許多其它方法來實現。

在攝像機本身處測量攝像機的角傾斜(平移、傾斜及滾動)的實時測量方法存在一個共同問題。角度測量結果中的小誤差在投射出幾英尺(其是大多數實景拍攝景物和虛擬景物接合所位于的地方)時變成大的位置誤差。在攝像機被移動時，這可以清楚地在合成圖像中觀察出虛擬元素和實景拍攝元素之間的移位和滑動。

解決該高度精確接合的傳統方法是使用后期制作軟件工具，例如Syntheyes、3D均衡器、Boujou、PF?Track或者Nuke，這些工具方向和跟蹤逐個幀中的多個高對比度區域。通過分析屏幕上的若干點的相對運動，可以推導出實景拍攝攝像機的運動和鏡頭參數，虛擬背景的運動整齊匹配于實景拍攝前景。

該過程具有若干限制。首先，如果演員走到被跟蹤的高對比度區的前方，則可能容易破壞攝像機解決方案數學運算。其次，通過跟蹤圖像的高對比度部分的各個像素來測量運動的過程既不確定又耗時。其通常不能進行實時計算，并且如果實景拍攝圖像的幀發生光線變化，其中圖案是不能識別的，那么藝術家必須重新指定幀中的高對比度區，從而無法繼續該過程。實際上，解決在任意的移動背景下的準確的攝像機跟蹤的過程可能由于所需的手工作業而超過完成剩余的拍攝所需的時間。

此外，如果實景拍攝攝像機被放大，那么被跟蹤的高對比度區可能完全從圖像中消失，導致攝像機無法跟蹤對象。眾所周知該算法很難用來根據多個拍攝推導出攝像機的固有參數，其中攝像機同時改變其焦距(“放大”)和進行移動。

因此，基于純像素跟蹤的方法不能很好地用于實時視覺效果處理的需求，其必須是計算非常快速以及對實景拍攝視頻圖像中的幀和幀之間的變化和用于記錄圖像的電影鏡頭的調整的變化具有魯棒性。

現有技術的系統是PREVIZION系統，其可從加利福尼亞的Lightcraft?Technology,LLC?of?Venice購買。PREVIZION系統包括攝像機跟蹤系統、鏡頭校準系統、實時合成系統以及內置3D渲染器。揭示現有技術的PREVIZION系統的公開的實例是在2011年4月8日公開的、題目為“Previzion?Specifications?2011”的PREVIZION產品冊子，通過引用將其內容并入。

發明內容

本文公開了混合式精確跟蹤系統的各個實施方式。在一個實施方式中，藝術家勘測放置在虛擬景物將加入實景拍攝的臺上的人工高對比度標記點的3D中心位置。藝術家接著將這些點的位置輸入到計算機系統中。藝術家從實景拍攝圖像中選擇與在實景拍攝場景中測量的高對比度標記點的3D中心位置相關聯的點。可以使用實景拍攝圖像的2D顯示選擇這些點，例如通過在期望方位中的明顯標記上定位指針，并且按下選擇鍵。