[發明專利]使用深度圖的實時相機跟蹤

有效

• 申請號: 201210021180.2
• 申請日: 2012-01-30
• 公開（公告）號: CN102622762A
• 公開（公告）日: 2012-08-01
• 發明（設計）人: R·紐科姆;S·伊扎迪;D·莫利尼奧克斯;O·希利格斯;D·金;J·D·J·肖頓;P·科利;A·費茨吉本;S·E·豪杰斯;D·A·巴特勒
• 申請（專利權）人: 微軟公司
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T7/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 蔡悅

1.一種實時相機跟蹤的方法，包括：

從正在移動的移動深度相機(302)接收深度圖幀(314)的序列，每一深度圖幀包括每一圖像元素處的深度值，該深度值與從所述移動深度相機到由所述移動深度相機所捕捉的場景中的表面的距離有關；

通過計算每一深度圖幀的配準參數(328、414)來跟蹤所述移動深度相機的位置和定向，這些配準參數是用于將每一深度圖幀和在先深度圖幀對齊的變換的參數；

其中，計算所述配準參數包括使用迭代過程(412)用于：

標識成對的深度圖幀的相應點(502)而不計算所述深度圖幀內所描繪的形狀，且通過使用并行計算單元來優化應用于所標識的相應點的誤差度量，使得所述誤差度量被并行地應用于所標識的相應點中的每一個。

2.如權利要求1所述的方法，其特征在于，還包括從與所述移動深度相機(302)相關聯的第二傳感器(306、308、310)接收輸入，且使用該輸入來形成所述配準參數的初始估計，所述第二傳感器從選自以下各項之一：定向傳感器(308)、RGB視頻相機(306)、游戲系統(332)、所述深度相機正在其中移動的環境的圖(334)、移動傳感器、位置傳感器。

3.如權利要求1或2所述的方法，其特征在于，包括以每秒至少30幀的幀速率接收所述深度圖幀(314)的序列。

4.如前述權利要求中任一項所述的方法，其特征在于，使用所述并行處理單元來優化誤差度量包括：對于每一對相應點，形成(806)數值最小二乘優化的線性系統，以產生6乘6矩陣，并且將這些矩陣簡化為所述并行計算單元處的單個6乘6矩陣。

5.如前述權利要求中任一項所述的方法，其特征在于，包括估計來自由所述移動深度相機所捕捉的場景的密集3D模型(326)的在先深度圖幀。

6.如前述權利要求中任一項所述的方法，其特征在于，標識成對的深度圖幀的相應點(502)包括使用投影數據關聯過程，藉此所估計的移動相機的位置被用于將來自源深度圖幀的點投影(606)到當前深度圖幀的目的地點，且所述投影數據關聯過程包括在所述目的地點周圍搜索候選相應點。

7.如前述權利要求中任一項所述的方法，其特征在于，優化所述誤差度量包括優化點到面的誤差度量，該度量包括從源點到包含目的地點并且與該目的地點的表面法線近似垂直地定向的平面的平方距離的和(802)。

8.如前述權利要求中任一項所述的方法，其特征在于，計算所述配準參數包括，對于每一深度圖幀，計算每一點的表面法線且形成具有對于不同范圍的法線值的多個柱的直方圖，并且跨所述柱對點進行均勻采樣；以及僅使用來自均勻采樣點的那些點來計算所述配準參數。

9.一種實時相機跟蹤器(316)包括：

輸入(1002)，所述輸入(1002)被安排成從移動的移動深度相機(302)接收深度圖幀(314)的序列，每一深度圖幀包括每一圖像元素處的深度值，該深度值與從所述移動深度相機到由所述移動深度相機所捕捉的場景中的表面的距離有關；

幀對齊引擎(318)，所述幀對齊引擎(318)通過計算每一深度圖幀的配準參數來跟蹤所述移動深度相機的位置和定向，這些配準參數是用于將每一深度圖幀和在先深度圖幀對齊的變換的參數；

所述幀對齊引擎被安排成使用迭代過程來計算所述配準參數，用于：標識成對的深度圖幀的相應點而不計算所述深度圖幀內所描繪的形狀；

所述幀對齊引擎包括并行計算單元，所述并行計算單元被安排成優化作為所述迭代過程的一部分應用于所標識的相應點的誤差度量，使得所述誤差度量在所述并行計算單元處被并行地應用于所標識的相應點中的每一個。

10.一種游戲系統(332)，所述游戲系統(332)包括移動紅外飛行時深度相機，所述移動紅外飛行時深度相機使用結構化光以及如權利要求9所述的用于跟蹤所述移動深度相機的實時跟蹤器(316)，所述移動深度相機以及所述實時跟蹤器被安排成以每秒至少30幀來操作，所述游戲系統被安排成影響與跟蹤所述移動深度相機相關的游戲的過程。