[發明專利]使用深度傳感器的結構建模

有效

• 申請號: 201910105226.0
• 申請日: 2014-09-11
• 公開（公告）號: CN110070556B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 迪特爾·施馬爾施蒂格;格哈德·賴特邁爾;青·國·阮;拉斐爾·大衛·安德烈·格拉賽特;托比思·馬丁·朗洛茨;哈特穆特·賽西特
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06T7/12
• 分類號: G06T7/12;G06T17/00
• 代理公司: 永新專利商標代理有限公司 72002
• 代理人: 趙騰飛

本申請涉及使用深度傳感器的結構建模。本發明呈現用于構建物理環境的數字表示的技術。在一些實施例中，一種方法包含獲得指示所述物理環境的圖像數據；基于所獲得的所述圖像數據從對應于所述物理環境中的至少一個位置的用戶接收手勢輸入數據；檢測所述物理環境中靠近對應于所接收到的所述手勢輸入數據的所述至少一個位置的至少一個不連續性；以及基于所接收到的所述手勢輸入數據和所述至少一個不連續性產生對應于所述物理環境中的表面的數字表面。

分案申請的相關信息

本案是分案申請。該分案的母案是申請日為2014年09月11日、申請號為201480049214.6、發明名稱為“使用深度傳感器的結構建模”的發明專利申請案。

技術領域

本發明總體而言涉及增強現實環境，且更具體來說，涉及實時建模實體環境。

背景技術

在增強現實(AR)環境中，用戶可希望獲得他的物理環境的模型以啟用AR功能。舉例來說，用戶可希望將他的辦公室的視圖的主要結構建模，所述視圖可包含墻面、地板和天花板的表面，以及桌子的臺面表面。建模現實物理環境的當前方法可能不具有將不同表面彼此區分開的能力，且實際上僅產生指示與來自攝像機視圖的每個點相關聯的深度的點的密集重構。此外，此組點可不含有區分哪些點屬于墻面或哪些點屬于桌子等的任何方式。不具有此類語義意義使得AR壁面或桌子表面難以交互。此外，產生此組點可為非常處理器密集型且不大適用于實時使用。

本發明的實施例解決此問題和其它問題。

發明內容

本發明總體而言涉及增強現實環境，且更具體來說，涉及實時建模實體環境。

介紹用于基于直觀用戶輸入和用戶的物理環境在移動裝置上實時建模增強現實(AR)環境的方法和設備。在一些實施例中，用戶可基于本發明的系統和方法產生表示用戶的物理環境的表面的幾何形狀。在一些實施例中，僅此類表面的大致指示由用戶需要，且快速不精確輸入在一些情況下可為可接受的。在一些實施例中，移動裝置的傳感器功能性(例如，來自深度攝像機的輸入)可用于推斷用戶并未充分指定的表面的其余部分。在一些實施例中，方法和應用包含手動用戶接口，而在其它實施例中，可采用更“半自動”的用戶接口。

使用業界中的已知方法，深度傳感器可產生包含極其詳細的信息的三維(3D)重建，從而產生可含有不具有任意語義的多個幾何圖元的模型。然而，對于多個應用，可能需要的全部應用為由少數多邊形組成的幾何模型，所述幾何模型表示環境的重要結構，而非大量細節。建模結構可包含由幾何面、邊和頂點構成的多邊形模型以及簡單體積。此類幾何模型可被稱作結構模型。舉例來說，簡單房間可包含四個墻面、地板、天花板、門和窗戶，總計八個多邊形。應注意，此等幾何結構具有低復雜度且通常具有例如正確角度或平行邊的約束。

此外，使語義意義與結構結合可為重要的。舉例來說，門可用于進出相鄰房間，或虛擬物件可經約束以停留在真實表面上，或窗戶可向上及向下滑動。對于增強現實(AR)中的相互相用，具有相關信息的簡化結構模型可在移動裝置上啟用與結構模型相關聯的資訊的實時處理。因此，本發明的實施例提出通過幾個多邊形(例如，用于門的單一矩形)表示來自現實世界的重要元素。

一種用于構建物理環境的數字表示的實例方法可包含獲得指示物理環境的圖像數據；基于所獲得的圖像數據接收對應于物理環境中的至少一個位置的用戶輸入數據圖像數據；檢測靠近對應于所接收到的用戶輸入數據的至少一個位置的物理環境中的至少一個不連續性；以及基于所接收到的用戶輸入數據和至少一個不連續性產生對應于物理環境中的表面的數字表面。在方法的一些實施例中，所接收到的用戶輸入數據指定數字表面的至少一個邊。在其它實施例中，所接收到的用戶輸入數據指定數字表面的至少一個平面。在又其它實施例中，所接收到的用戶輸入數據包括物理環境內的多個點，基于所獲得的圖像數據，所述多個點被包含為數字表面的部分。