[發明專利]在表面重構中使用自由形式變形

有效

• 申請號: 201580050663.7
• 申請日: 2015-09-10
• 公開（公告）號: CN106716497B
• 公開（公告）日: 2020-05-05
• 發明（設計）人: M·J·格萊;J·A·克拉克
• 申請（專利權）人: 微軟技術許可有限責任公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T19/20
• 代理公司: 上海專利商標事務所有限公司 31100
• 代理人: 段登新;胡利鳴

在表面重構過程中使用3D物理空間的體，其中相鄰體共享頂點，使得在各體之間不存在間隙或交疊。結果是，在表面重構過程中獲得連續表面。頂點被錨定到姿態圖中的節點，使得頂點的位置隨著姿態圖被更新而被調整。結果是，準許體的變形。基于體的變形，相應地使該物理空間的深度圖的一區域變形。每個頂點可被錨定到該姿態圖的最接近節點，或錨定到基于節點組合的一點。在一種方法中，該點基于該最接近節點和該最接近節點的所定義半徑內的其它節點來定義。

背景

表面重構(SR)涉及標識物理空間中的對象的表面。例如，表面可表示房間中的墻壁、地板、天花板、家具或其他對象。各表面提供物理環境的模型。這樣的模型可在大范圍應用中使用。一個示例是引導機器人通過物理空間。另一示例是諸如通過使用頭戴式顯示設備向用戶顯示虛擬對象。

概述

本文中描述的技術提供用于重構物理空間中的表面的各實施例。

物理空間的深度圖是使用深度傳感器獲得的。深度圖包含表示從深度傳感器到物理空間中的各表面的距離的深度值。深度圖是相對于物理空間中的各體來定義的，并且這些體的位置是相對于坐標系來定義的。例如，坐標系可根據用于承載深度傳感器的裝備的姿態(例如，位置和定向)來被定義。

然而，隨著附加的深度圖被獲得且附加的體被定義，這些體的位置的誤差可累積。為了降低誤差累積，物理空間的可見光圖像被獲得并被用于形成姿態圖。姿態圖包括與該裝備的不同姿態以及相應的圖像相關聯的節點。各節點之間的鏈接表示這些圖像之間的對應關系以及這些節點的坐標系之間的變換。有時，隨著新圖像被捕捉，姿態圖被更新。例如，節點可通過更新與節點相關聯的坐標系來被更新。

此外，體的頂點(例如角落)被錨定到姿態圖的不同節點或節點組合或與其相關聯。具體而言，相鄰的體可在共享面上具有共享頂點，使得在各體之間沒有間隙或交疊。當姿態圖被更新且節點的坐標系改變時，所述體被允許在形狀方面變形，以使得共享面的頂點繼續被錨定到相同節點或節點組合。然而，如果合適，頂點可被周期性地重新錨定到新節點或節點組合。

因為在執行表面重構過程時避免了相鄰體之間的間隙和交疊，不同體中的表面將跨各體被平滑接合。表面可根據姿態圖的當前狀態在任何時間重構。

提供本概述以便以簡化的形式介紹以下在詳細描述中進一步描述的一些概念。本概述并非旨在標識所要求保護的主題的關鍵特征或必要特征，亦非旨在用作輔助確定所要求保護的主題的范圍。

附圖簡述

在附圖中，相同編號的元素彼此對應。

圖1是用于表面重構的系統5的框圖，該系統5包括裝備、服務器和中樞計算系統。

圖2是圖1中的裝備20作為頭戴式顯示器(HMD)設備150的實現的俯視圖。

圖3是描繪圖2的HMD設備150的各個組件的框圖。

圖4是描述圖2的處理單元105的各個組件的框圖。

圖5是圖1的中樞計算系統50的一個實施例的框圖。

圖6A描繪了用于使用姿態圖來重構物理空間中的各表面的過程。

圖6B描繪了圖6A的步驟603的進一步細節。

圖6C描繪了圖6A的步驟606的進一步細節。

圖6D描繪了圖6A的步驟607的進一步細節。

圖7描繪用于執行圖6A的過程的表面重構流水線。

圖8A描繪如結合圖7的3D融合子系統734討論的符號距離函數的示例。

圖8B描繪了如結合圖7的3D融合子系統734討論的投影到體素中的深度圖的示例。

圖9A描繪了一組體900-905以及深度傳感器的視錐體920。