[發明專利]捕捉運動場景的設備、裝置和系統

在審

• 申請號: 201380058430.2
• 申請日: 2013-09-10
• 公開（公告）號: CN104904200A
• 公開（公告）日: 2015-09-09
• 發明（設計）人: M.R.米勒特
• 申請（專利權）人: 廣稹阿馬斯公司
• 主分類號: H04N13/20
• 分類號: H04N13/20;H04N5/262
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 陳嵐

本發明的實施例描述了與對象和/或環境的數據捕捉有關的裝置、系統以及方法。在一個實施例中，用戶可以使用一個或多個便攜式數據捕捉設備來捕捉帶時間索引三維（3D）深度數據，所述便攜式數據捕捉設備可以用深度信息、位置和定向數據來捕捉場景的帶時間索引顏色圖像。另外，數據捕捉設備還可被配置成捕捉在數據捕捉設備周圍的環境的球面視圖。

技術領域

本公開一般地涉及環境或對象的數據捕捉領域，并且特別是真實三維(3D)深度視頻。

背景技術

在無數的情況下使用對象或環境的數據捕捉，并且其可以使得處理器能夠使用、作用于或操縱所捕捉的數據來創建對象和/或環境的圖像。例如，照相機可以捕捉場景的靜止二維(2D)圖像，并且攝像機可以捕捉視頻數據(即，隨時間推移的2D數據)以用于稍后編輯和顯示。另外，可以使用聚焦在對象周圍的多視圖立體2D圖像來模擬對象的3D圖像。可以用來模擬3D圖像的數據捕捉的另一示例涉及到光檢測與測距(LiDAR)(也稱為激光檢測與測距(LADAR))傳感器，其一般地被用于對地形或建筑物進行繪圖。LiDAR將來自光源的光指引到將光反射回到接收機的表面處。LiDAR系統然后將基于光的往返時間(稱為“飛行時間”(TOF)數據)來計算從光源到表面的距離。這樣，可以用LiDAR系統來捕捉關于環境中的對象的距離或深度的數據。LiDAR通過跨環境扇出或用脈沖發射其射束并測量用于將光反射回到LiDAR系統中的接收機的每個對象的飛行時間來收集數千個數據點。LiDAR僅能確定將光反射回到接收機的對象的深度，而不能檢測關于顏色的圖像數據。LiDAR及其它類型的TOF照相機處于在本文稱為“深度照相機”的照相機類別中。深度照相機的其它示例包括可以確定深度信息的任何設備，諸如立體照相機、結構光掃描儀或發射電磁(EM)輻射并捕捉被反射回來的輻射的飛行時間的其它設備。

用于捕捉成像數據的現有技術具有限制或缺點。例如，包括膠片、數字攝影以及全景2D攝影(即柱面或立方體交互式全景)的2D文檔介質的當前手段在當被用戶或觀看者訪問時傳達整體的真實生活體驗或事件方面具有限制。2D圖像可能具有優良的分辨率和顏色，但不具有與圖像相關聯的深度信息。

可以以各種方式來創建模擬3D圖像。通常，使用兩個間隔開的透鏡來記錄圖像，其從略有不同的角度記錄場景，并且這些圖像被提供給人，使得諸如通過使用具有濾色器或不同偏振的眼鏡來不同地向每只眼睛呈現該信息。如2D圖像的情況一樣，顏色和分辨率可以是極佳的，并且這些立體圖像的3D效果可以是引人注目的，然而，此類系統仍缺少收集場景的深度信息的能力。

可將由深度照相機捕捉的信息與2D照相機的圖像數據組合以提供模擬3D且包含深度信息的圖像。例如，可將LiDAR圖像與來自重疊2D圖像的數據組合以用深度數據來模擬3D圖像——亦即，該圖像數據包含圖像中的對象距離的信息，并且具有計算圖像中的對象的尺寸和相對間距的能力。

無論是立體照相機還是與2D照相機組合的深度照相機，當前3D成像系統都使用單個照相機，其在給定時間記錄單個視點(POV)以收集表示單個靜態時刻的數據。使用單個照相機可以導致所收集3D數據中的間隙。例如，從單個角度捕捉具有樹的場景的單個照相機不能捕捉在樹后面的東西。用于在用單個照相機來捕捉場景時減少數據間隙的當前方法要求記錄單個照相機視點并將照相機重新定位多次的冗長過程。一旦通過用單個照相機進行的重新定位和捕捉的多個會話來捕捉場景，則必須有廣泛的輔助后處理以對多次掃描進行配準并組織所捕捉的數據。除要求大量的時間(由于例如所使用的算法和大量的數據)之外，此類后處理一般地要求廣泛的用戶輸入和用戶的技術知識。

除組織用這些3D照相機捕捉的數據所要求的廣泛后處理之外，可能要求附加后處理以便再現數據，包括通過數字模型配置的數字圖形內插、矢量化和/或圖像模型構建。