[發明專利]使用深度圖進行移動相機定位

有效

• 申請號: 201210021582.2
• 申請日: 2012-01-31
• 公開（公告）號: CN102609942A
• 公開（公告）日: 2012-07-25
• 發明（設計）人: R·紐科姆;S·伊扎迪;D·莫利尼奧克斯;O·希利格斯;D·金;J·D·J·肖頓;P·科利;A·費茨吉本;S·E·豪杰斯;D·A·巴特勒
• 申請（專利權）人: 微軟公司
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 陳斌

技術領域

本發明涉及使用深度圖進行移動相機定位。

背景技術

移動相機定位涉及找到在其環境中移動的相機的位置和定向，并且對于如機器人、沉浸式游戲、增強現實、架構、規劃、機器人、工程原型制作、車輛導航、醫學應用和其他問題領域等許多應用是有用的。現有方案在精確度、穩健性和速度上受到限制。對于許多應用，需要實時地進行精確的相機定位，例如以使得機器人可以成功地在其環境中四處移動。

先前的許多移動相機定位方法已經使用了彩色視頻相機而不是深度相機。通常彩色視頻相機給出高分辨率和精確度，而豐富的色彩信息允許在視頻圖像中檢測到視覺特征。能從深度相機中獲得的信息取決于環境的類型和所使用的深度相機的類型可能是有噪聲并且不精確的。深度相機捕捉在本文中被稱為深度圖(depth?map)的圖像，其中每個像素和從該深度相機到該相機的環境中的一個點的絕對和相對距離有關。與彩圖圖像相比，由于可用信息的差異，檢測深度圖中的特征可能更加困難。

先前的一些移動相機定位方法已經涉及創建移動相機的環境圖，同時跟蹤相機相對于該圖的位置和定向。這被稱為同時定位和地圖構建(SLAM)。

以下描述的各實施例不限于解決已知的移動相機定位系統的缺點中的任一個或全部的實現。

發明內容

下面呈現了本發明的簡要概述，以便向讀者提供基本理解。本發明內容不是本發明的詳盡概述，并且不標識本發明的關鍵/重要元素，也不描述本發明的范圍。其唯一的目的是以簡化形式呈現此處所公開的精選概念，作為稍后呈現的更詳細的描述的序言。

針對機器人、沉浸式游戲、增強現實和其他應用描述了使用深度圖進行移動相機定位。在一實施例中，在一環境中跟蹤移動深度相機，同時使用所感測的深度數據形成該環境的3D模型。在一實施例中，當相機跟蹤失敗時，通過使用先前收集的關鍵幀或以其他方式來檢測相機跟蹤的失敗并重新定位相機。在一實施例中，通過實時地將當前深度圖與該3D模型的特征進行比較，檢測到移動相機重新訪問一位置的環閉合(loop?closure)。在一些實施例中，使用所檢測到的環閉合來改善該環境的3D模型的一致性和精確度。

通過結合附圖參考以下詳細描述，可更易于領會并更好地理解許多附帶特征。

附圖說明

根據附圖閱讀以下詳細描述，將更好地理解本發明，在附圖中：

圖1是房間中的持有移動深度相機的人的示意圖，該移動深度相機被用于實時相機跟蹤并且可任選地還產生該房間的3D模型或圖；

圖2是正由持有移動深度相機的人探測的建筑物某層的平面視圖；

圖3是連接到實時相機跟蹤系統、密集3D模型形成系統、以及游戲系統的移動深度相機的示意圖；

圖4是實時跟蹤器處的方法的流程圖；

圖5是重新定位引擎的示意圖；

圖6是不使用關鍵幀的重新定位方法的流程圖；

圖7是使用關鍵幀的重新定位方法的流程圖；

圖8是環閉合的方法的流程圖；

圖9是示例幀對齊引擎的示意圖；

圖10是用于相機跟蹤的迭代過程的流程圖；

圖11是圖5的迭代過程中用于計算相應點的對的部分的更多細節的流程圖；

圖12是用于使用來自密集3D模型的預測來計算相應點的對的過程的流程圖；

圖13是用于計算和最小化在圖10的迭代過程中使用的點-到-平面誤差度量的過程的流程圖；

圖14示出可在其中實現相機定位系統的實施例的示例性的基于計算的設備。

在各個附圖中使用相同的附圖標記來指代相同的部件。

具體實施方式

下面結合附圖提供的具體實施方式旨在作為本發明示例的描述，并不旨在表示可以構建或使用本發明示例的唯一形式。本描述闡述了本發明示例的功能，以及用于構建和操作本發明示例的步驟的序列。然而，可以通過不同的示例來實現相同或等效功能和序列。

盡管本示例在本文中是使用從發出和捕捉紅外光的移動深度相機獲得的深度圖像在實時相機跟蹤系統中實現的，然而所描述的系統是作為示例而不是限制而提供的。本領域的技術人員將會理解，本示例適于在各種不同類型的實時相機跟蹤系統中應用，包括但不限于使用從立體相機獲得的深度信息的系統和使用通過發出和捕捉其他類型的電磁輻射所獲得的深度信息的系統。

術語“圖像元素”在本文中用于指示像素、像素組、體素、或圖像的其他更高級別的分量。