[發明專利]用于表示物理場景的方法和設備

有效

• 申請號: 201480047029.3
• 申請日: 2014-08-29
• 公開（公告）號: CN105493155B
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 伊雷妮·賴斯納-科爾曼;伊斯特萬·希克勒希;潘琪;邁克爾·蓋爾沃茨;安德魯·吉
• 申請（專利權）人: 高通股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T17/00
• 代理公司: 北京律盟知識產權代理有限責任公司 11287
• 代理人: 宋獻濤

本發明描述用于通過獲得關于物理場景的信息構建所述物理場景的數字表示的系統、方法和裝置。基于所述信息，可識別所述物理場景內的平面表面的初始部分。在本發明的一個方面中，構建物理場景的數字表示可包含：獲得關于所述物理場景的信息；識別所述物理場景內的平面表面；選擇放置在所述平面表面上方的所述物理場景內的物理對象；檢測與所述物理對象相關聯的特性；使用與所述物理對象相關聯的所述特性產生三維3D重建對象；以及將所述平面表面表示為擴增現實AR環境中的擴增現實平面，其中所述AR環境中的所述AR平面能夠支持其頂部上的3D重建對象。

技術領域

本發明大體涉及擴增現實環境，且更確切地說涉及現實世界周圍環境的基于機器的辨識。

背景技術

在擴增現實(AR)環境中，用戶可檢視人工或虛擬圖形與用戶的自然周圍環境的集成。在AR的一些較早實施方案中，用戶可經由(例如)擴增現實護目鏡參看任意顯示在用戶的自然周圍環境當中或內的圖形。舉例來說，隨機蝴蝶的圖形可沿著AR護目鏡的視線飛行，同時用戶繼續檢視他的或她的自然周圍環境，而不管所述蝴蝶與用戶正自然地查看的任何事物是否具有任何關聯性。在AR的較復雜實施方案中，用戶可能夠將AR特征或圖形直接應用到用戶的自然周圍環境的對象或結構。舉例來說，用戶可能想要引導蝴蝶的圖形在墻壁或臺子上著陸，這首先需要AR環境辨識事實上所述墻壁或臺子實際上存在于用戶的視野中何處。

在其它情況下，機器人或其它自動機器可在嘗試在自然周圍環境中定向其自身時應用AR領域中的類似概念和技術。舉例來說，機器人可需要理解墻壁和臺子存在于周圍環境中何處，使得機器人并不會跑到墻壁或臺子中。在其它情況下，機器人可通過(例如)識別臺子上的杯子且拿起所述杯子而與自然周圍環境交互。執行此任務可首先需要機器人成功地識別杯子，且在一些情況下需要成功地識別上面放置杯子的臺子。然而，實時實現自然周圍環境的基于機器的辨識已證明是難以解決的問題，因為(例如)現有技術不能足夠快速或足夠高效節能以用于實時目的。因此，在此項技術中需要在實時設定中自然周圍環境的基于機器的辨識的改進的方法。

發明內容

本發明大體涉及擴增現實環境，且更確切地說涉及現實世界周圍環境的基于機器的辨識。

描述用于通過獲得關于物理場景的信息構建物理場景的數字表示的系統、方法和裝置。基于所述信息，可識別物理場景內的平面表面的初始部分。在某些方面中，來自物理場景的物理對象可選定和經重建為三維(3D)經重建對象。所述平面表面可表示為擴增現實(AR)環境中的擴增現實平面，其中AR環境中的AR平面能夠支持其頂部上的3D重建對象。

在某些方面中，還可基于所述至少一個所俘獲圖像識別平面表面的額外部分。基于確定與額外部分相關聯的至少一個視覺特性同與已經識別為平面表面的一部分的一或多個部分相關聯的至少一個對應視覺特性之間的相似度而將額外部分中的每一者識別為平面表面的一部分。

用于構建物理場景的數字表示的實例方法可包含：獲得關于物理場景的信息；識別物理場景內的平面表面；選擇放置在平面表面上方的物理場景內的物理對象；檢測與物理對象相關聯的特性；使用與物理對象相關聯的特性產生三維(3D)經重建對象；以及將平面表面表示為擴增現實(AR)環境中的擴增現實平面，其中AR環境中的AR平面能夠支持其頂部上的3D重建對象。

在所述方法的某些方面中，識別用于選擇的物理對象可包含：識別平面表面中的一或多個區，其中所述一或多個區對應于平面表面上的物理對象的位置，其中所獲得的信息包括物理對象的一或多個特征點，其中每一特征點指示物理對象的外表面上的點相對于平面表面的位置；以及基于一或多個凸面區的位置和所述一或多個特征點識別物理對象的一或多個外表面。

在所述方法的某些方面中，將平面表面表示為AR平面可包含分析包括所述物理對象的物理場景的至少兩個圖像，以及基于對物理場景的所述至少兩個圖像的分析創建AR平面使得所述AR平面對應于所述物理場景且排除對應于所述物理對象的至少一個區。所創建的AR平面可包含多個單元，所述多個單元的每一單元表示物理場景中的不含物理對象的區。