[發(fā)明專利]使用深度圖進(jìn)行移動(dòng)相機(jī)定位

有效

• 申請?zhí)枺?/td>: 201210021582.2
• 申請日: 2012-01-31
• 公開（公告）號: CN102609942A
• 公開（公告）日: 2012-07-25
• 發(fā)明（設(shè)計(jì)）人: R·紐科姆;S·伊扎迪;D·莫利尼奧克斯;O·希利格斯;D·金;J·D·J·肖頓;P·科利;A·費(fèi)茨吉本;S·E·豪杰斯;D·A·巴特勒
• 申請（專利權(quán)）人: 微軟公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 上海專利商標(biāo)事務(wù)所有限公司 31100
• 代理人: 陳斌

1.一種實(shí)時(shí)相機(jī)重新定位的方法，包括：

從正在移動(dòng)的移動(dòng)深度相機(jī)(302)接收深度圖幀(314)的序列，每個(gè)深度圖幀包括多個(gè)圖像元素，每個(gè)圖像元素具有與從所述移動(dòng)深度相機(jī)到由所述移動(dòng)深度相機(jī)所捕捉的場景中的表面的距離有關(guān)的深度值；

使用所述深度圖幀跟蹤所述移動(dòng)深度相機(jī)的位置和定向，并使用所述深度圖幀同時(shí)形成所述移動(dòng)深度相機(jī)正在其中移動(dòng)的環(huán)境的3D模型(326)；

檢測對所述移動(dòng)深度相機(jī)的位置和定向的跟蹤中的失敗；以及

通過使用由所述移動(dòng)深度相機(jī)所捕捉的當(dāng)前深度圖重新計(jì)算所述移動(dòng)深度相機(jī)的位置和定向來重新定位所述移動(dòng)深度相機(jī)。

2.如權(quán)利要求1所述的方法，其特征在于，檢測所述跟蹤中的失敗包括以下任何項(xiàng)：將所述移動(dòng)深度相機(jī)的當(dāng)前和先前的跟蹤到的位置的改變與閾值(502)進(jìn)行比較；檢測用于跟蹤所述移動(dòng)深度相機(jī)的位置和定向的迭代過程的收斂的失敗；以及將所述移動(dòng)深度相機(jī)的當(dāng)前的跟蹤到的位置和定向與使用所述移動(dòng)深度相機(jī)的運(yùn)動(dòng)的模型預(yù)測的位置和定向進(jìn)行比較。

3.如權(quán)利要求1或權(quán)利要求2所述的方法，其特征在于，重新定位所述移動(dòng)深度相機(jī)包括從多個(gè)關(guān)鍵幀中尋找(700)與所述當(dāng)前深度圖類似的關(guān)鍵幀，所述多個(gè)關(guān)鍵幀是由所述移動(dòng)深度相機(jī)在先前收集的、各自具有相關(guān)聯(lián)的相機(jī)位置和定向的深度圖幀；以及其中尋找關(guān)鍵幀包括以下任何項(xiàng)：使用幾何估計(jì)過程來選擇與所述當(dāng)前幀具有類似的豎直和水平表面的安排和位置的關(guān)鍵幀；以及按照與所述移動(dòng)深度相機(jī)的最后已知位置有關(guān)的次序來搜索所述多個(gè)關(guān)鍵幀。

4.如權(quán)利要求1所述的方法，其特征在于，重新定位所述移動(dòng)深度相機(jī)包括：在給出所述移動(dòng)深度相機(jī)的已知先前運(yùn)動(dòng)的情況下，計(jì)算作為姿勢的預(yù)測分布的所述移動(dòng)深度相機(jī)的姿勢的路徑分布；從所述路徑分布采樣姿勢并使用所采樣的姿勢來將所述當(dāng)前深度圖和先前深度圖對齊。

5.如權(quán)利要求1所述的方法，其特征在于，重新定位所述移動(dòng)深度相機(jī)包括：將隨機(jī)決策樹林應(yīng)用到來自所述當(dāng)前深度圖和來自從所述環(huán)境的3D模型獲得的多個(gè)先前深度圖的小塊以獲得作為深度圖的紋理特征的基元的直方圖，并根據(jù)所述直方圖選擇與所述當(dāng)前深度圖類似的先前深度圖。

6.一種實(shí)時(shí)相機(jī)重新定位系統(tǒng)，包括：

被安排為從正在移動(dòng)的移動(dòng)深度相機(jī)(302)接收深度圖幀(314)的序列的輸入(1402)，每個(gè)深度圖幀包括多個(gè)圖像元素，每個(gè)圖像元素具有與從所述移動(dòng)深度相機(jī)到由所述移動(dòng)深度相機(jī)所捕捉的場景中的表面的距離有關(guān)的深度值；

被安排為使用所述深度圖幀跟蹤所述移動(dòng)深度相機(jī)的位置和定向的幀對齊引擎(318)；

被安排為使用所述深度圖幀形成所述移動(dòng)深度相機(jī)正在其中移動(dòng)的環(huán)境的3D模型的3D模型形成系統(tǒng)(324)；

被安排為檢測所述移動(dòng)深度相機(jī)的位置和定向的所述跟蹤中的失敗、并且通過使用由所述移動(dòng)深度相機(jī)所捕捉的當(dāng)前深度圖和從所述3D模型獲得的至少一個(gè)先前深度圖來重新計(jì)算所述移動(dòng)深度相機(jī)的位置和定向來重新定位所述移動(dòng)深度相機(jī)的重新定位引擎(322)。

7.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述重新定位引擎被安排為將隨機(jī)決策樹林應(yīng)用到來自所述當(dāng)前深度圖和來自從所述環(huán)境的3D模型獲得的多個(gè)先前深度圖的小塊以獲得作為深度圖的紋理特征的基元的直方圖，并根據(jù)所述直方圖選擇與所述當(dāng)前深度圖類似的先前深度圖。

8.如權(quán)利要求6所述的系統(tǒng)，其特征在于，所述重新定位引擎(322)被安排為從多個(gè)關(guān)鍵幀中尋找與所述當(dāng)前深度圖類似的關(guān)鍵幀，所述多個(gè)關(guān)鍵幀是由所述移動(dòng)深度相機(jī)在先前收集的、各自具有相關(guān)聯(lián)的相機(jī)位置和定向的深度圖幀。

9.如權(quán)利要求8所述的系統(tǒng)，其特征在于，所述重新定位引擎(322)被安排為通過以下任何項(xiàng)來尋找關(guān)鍵幀：使用幾何估計(jì)過程來選擇與當(dāng)前幀具有類似的豎直和水平表面的安排和位置的關(guān)鍵幀；以及按照與所述移動(dòng)深度相機(jī)的最后已知位置有關(guān)的次序來搜索所述多個(gè)關(guān)鍵幀。

10.一種游戲系統(tǒng)，包括使用結(jié)構(gòu)化光的移動(dòng)紅外飛行時(shí)間深度相機(jī)(302)和如權(quán)利要求6所述的用于跟蹤所述移動(dòng)深度相機(jī)的系統(tǒng)，所述深度相機(jī)和實(shí)時(shí)跟蹤器被安排為以每秒至少30幀操作，所述游戲系統(tǒng)被安排為與所述移動(dòng)深度相機(jī)的所述跟蹤有關(guān)地影響游戲的過程。