[發(fā)明專利]增強(qiáng)現(xiàn)實映射系統(tǒng)和相關(guān)方法

在審

• 申請?zhí)枺?/td>: 201880097577.5
• 申請日: 2018-10-18
• 公開（公告）號: CN112740283A
• 公開（公告）日: 2021-04-30
• 發(fā)明（設(shè)計）人: 理查德·安德魯·紐科姆比;雅各布·朱利安·恩格爾;朱利安·斯特勞布;托馬斯·約翰·威蘭;史蒂文·約翰·洛夫格羅夫;任宇恒
• 申請（專利權(quán)）人: 臉譜科技有限責(zé)任公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06K9/62
• 代理公司: 北京安信方達(dá)知識產(chǎn)權(quán)代理有限公司 11262
• 代理人: 周靖;楊明釗

所公開的計算機(jī)實現(xiàn)的方法可以包括從環(huán)境中的設(shè)備接收與環(huán)境相關(guān)聯(lián)的實時數(shù)據(jù)。該方法還可以包括根據(jù)實時數(shù)據(jù)確定當(dāng)前映射和對象數(shù)據(jù)。當(dāng)前映射數(shù)據(jù)可以包括環(huán)境的坐標(biāo)數(shù)據(jù)，且當(dāng)前對象數(shù)據(jù)可以包括環(huán)境中對象的狀態(tài)數(shù)據(jù)和關(guān)系數(shù)據(jù)。該方法還可以包括確定當(dāng)前映射數(shù)據(jù)和基線地圖數(shù)據(jù)之間的映射增量，以及確定當(dāng)前對象數(shù)據(jù)和事件圖之間的對象增量。事件圖可以包括對象的先前狀態(tài)數(shù)據(jù)和先前關(guān)系數(shù)據(jù)。該方法還可以包括基于增量更新基線地圖數(shù)據(jù)和事件圖，并將更新的基線地圖數(shù)據(jù)和事件圖數(shù)據(jù)發(fā)送到設(shè)備。還公開了各種其他方法、系統(tǒng)和計算機(jī)可讀介質(zhì)。

相關(guān)申請的交叉引用

本申請要求2018年9月14日提交的第16/131,066號美國申請的權(quán)益，該申請的公開內(nèi)容通過引用整體結(jié)合于此。

背景

增強(qiáng)現(xiàn)實(AR)設(shè)備通常用計算機(jī)生成的信息來增強(qiáng)用戶的真實世界環(huán)境。例如，AR設(shè)備可以通過將視覺信息疊加到用戶的正常視圖上來改變用戶對他或她的真實世界環(huán)境的感知。通過這樣做，AR設(shè)備可以為最終用戶提供沉浸式體驗，而不會完全取代用戶對其現(xiàn)實世界環(huán)境的看法。

AR設(shè)備可用于游戲和其他互動娛樂應(yīng)用。例如，AR應(yīng)用經(jīng)常顯示虛擬對象，就像虛擬對象在現(xiàn)實世界中一樣。然后，用戶可以與虛擬對象進(jìn)行交互。然而，隨著AR設(shè)備變得越來越普遍，用戶也可能希望使用AR技術(shù)來進(jìn)一步增強(qiáng)他們對現(xiàn)實世界環(huán)境的感知。

概述

本發(fā)明由獨(dú)立權(quán)利要求限定。在從屬權(quán)利要求和以下描述中具體說明了進(jìn)一步的實施例。根據(jù)本發(fā)明的實施例在所附權(quán)利要求中具體公開，涉及計算機(jī)實現(xiàn)的方法、系統(tǒng)和計算機(jī)可讀介質(zhì)，其中在一個權(quán)利要求類別(例如計算機(jī)實現(xiàn)的方法)中提到的任何特征也可以在另一個權(quán)利要求類別(例如系統(tǒng))中要求保護(hù)。所附權(quán)利要求中的從屬關(guān)系或往回引用僅出于形式原因而選擇。然而，也可以要求保護(hù)由對任何前面的權(quán)利要求的有意往回引用(特別是多項引用)而產(chǎn)生的任何主題，使得權(quán)利要求及其特征的任何組合被公開并且可被要求保護(hù)，而不考慮在所附權(quán)利要求中選擇的從屬性。可以被要求保護(hù)的主題不僅包括如在所附權(quán)利要求中闡述的特征的組合，而且還包括在權(quán)利要求中的特征的任何其他組合，其中，在權(quán)利要求中提到的每個特征可以與在權(quán)利要求中的任何其他特征或其他特征的組合相結(jié)合。此外，本文描述或描繪的實施例和特征中的任一個可以在單獨(dú)的權(quán)利要求中和/或以與本文描述或描繪的任何實施例或特征的任何組合或以與所附權(quán)利要求的任何特征的任何組合被要求保護(hù)。

如將在下面更詳細(xì)描述的，本公開描述了一種AR映射系統(tǒng)，其能夠基于來自多個AR設(shè)備的輸入來映射現(xiàn)實世界環(huán)境。在一個示例中，用于執(zhí)行這種任務(wù)的計算機(jī)實現(xiàn)的方法可以包括：(1)從環(huán)境中的多個設(shè)備接收與環(huán)境相關(guān)聯(lián)的實時數(shù)據(jù)，以及(2)從實時數(shù)據(jù)確定環(huán)境的當(dāng)前映射數(shù)據(jù)和當(dāng)前對象數(shù)據(jù)。當(dāng)前映射數(shù)據(jù)可以包括環(huán)境的坐標(biāo)數(shù)據(jù)，并且當(dāng)前對象數(shù)據(jù)可以包括由多個設(shè)備檢測到的環(huán)境中的對象的狀態(tài)數(shù)據(jù)和關(guān)系數(shù)據(jù)。該方法還可以包括(3)確定當(dāng)前映射數(shù)據(jù)和包括環(huán)境特征的基線地圖(baseline map)數(shù)據(jù)之間的映射增量，以及(4)確定當(dāng)前對象數(shù)據(jù)和事件圖之間的對象增量。事件圖可以包括環(huán)境中對象的先前狀態(tài)數(shù)據(jù)和先前關(guān)系數(shù)據(jù)。此外，該方法可以包括(5)基于映射增量更新基線地圖數(shù)據(jù)并基于對象增量更新事件圖，以及(6)向多個設(shè)備發(fā)送更新的基線地圖數(shù)據(jù)和更新的事件圖數(shù)據(jù)。

在一些示例中，事件圖的狀態(tài)數(shù)據(jù)可以包括環(huán)境中對象的時空狀態(tài)數(shù)據(jù)，其指示環(huán)境中對象隨時間的位置數(shù)據(jù)。事件圖的關(guān)系數(shù)據(jù)可以包括鏈接時空狀態(tài)數(shù)據(jù)的節(jié)點(diǎn)的轉(zhuǎn)換數(shù)據(jù)。轉(zhuǎn)換數(shù)據(jù)可以對應(yīng)于指示環(huán)境中的對象之間的交互的事件。

在一些示例中，基于對象增量更新事件圖可以進(jìn)一步包括將對象增量中的對象識別為事件圖中的對象，基于來自對象增量的狀態(tài)數(shù)據(jù)在事件圖中為所識別的對象創(chuàng)建新節(jié)點(diǎn)，以及基于來自對象增量的關(guān)系數(shù)據(jù)在事件圖中將新節(jié)點(diǎn)與所識別的對象的先前節(jié)點(diǎn)相鏈接。