[發明專利]AR/VR場景地圖獲取方法

有效

• 申請號: 201810955869.X
• 申請日: 2018-08-21
• 公開（公告）號: CN110855601B
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 陳俊宏
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04N13/332;H04N13/366
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 劉彩紅

本申請提供一種頭戴式顯示設備的場景地圖獲取方法和設備。該方法包括：獲取當前場景的第一圖像幀和第二圖像幀；獲取至少一個候選場景地圖，每個地圖中包括至少一個關鍵幀；分別將第一圖像幀和第二圖像幀與關鍵幀進行匹配，確定與每個圖像幀分別對應的目標關鍵幀；當所有目標關鍵幀屬于同一個候選場景地圖時，確定這一候選場景地圖為與當前場景對應的當前場景地圖；加載當前場景地圖。

技術領域

本發明涉及一種AR/VR場景構建的技術領域，特別是涉及一種搜索現有地圖獲取當前場景地圖的裝置和方法。

背景技術

虛擬現實(Virtual Reality,VR)和增強現實(Augmented Reality,AR)技術是近年來新興的多媒體技術。虛擬現實技術是一種可以創建和體驗虛擬世界的計算機仿真系統，增強現實技術是一種可以將虛擬現實和真實世界疊加并進行互動的技術。這兩項新興技術可以被廣泛地應用在廣告媒體、教育、工業、醫療、旅游、建筑、互動娛樂等領域，具有十分廣闊的市場前景。目前AR/VR設備的主要的實現形式包括移動端和頭戴式顯示設備(Headmounted display,HMD)等。

AR/VR技術中比較基礎與核心的一個問題是對AR/VR設備在空間環境中的定位，只有解決了這個問題才能讓用戶獲得逼真的沉侵式體驗和準確的現實增強?，F有技術通常是使用SLAM(Simultaneous localization and mapping)算法來解決AR/VR設備的定位問題，在現有的SLAM算法中，場景地圖構建的過程消耗了大量的計算資源和功耗，AR/VR設備實時構建場景代價高昂。一種現有的解決方案是將已經生成的地圖存儲在本地，用戶在進入一個場景時對地圖進行手動選擇。但是這樣的解決方式會額外占用用戶的時間和注意力，同時隨著現有地圖數量的增多，用戶選擇正確地圖的耗時與難度越來越大，嚴重降低用戶體驗。

因此，如何在不顯著增加用戶操作負擔的情況下，更有效的節省AR/VR設備的場景地圖構建運算負擔，成為一個亟待解決的問題。

發明內容

本申請提供了一種場景地圖獲取方法及應用該方法的裝置，通過在現有的場景地圖中進行搜索，確定與當前場景匹配的當前場景地圖，在存在與當前場景匹配的地圖時節省AR/VR設備的建圖運算負擔。

第一方面，本申請提供了一種AR/VR設備，包括圖像獲取模塊，可以用于獲取當前場景的第一圖像幀和第二圖像幀，其中，第一圖像幀的位姿與第二圖像幀的位姿差異大于位姿設定值，位姿設定值可以為生成圖像幀時設備姿態的差異，比如攝像機視角的角度差異值；也可以為生成圖像幀時設備的位置差異，比如兩個位置之間的距離；也可以是姿態和位置的綜合差異，此處不做限定。該設備還包括地圖搜索模塊，可以用于將第一圖像幀與候選場景地圖中的關鍵幀進行匹配，從而確定與第一圖像幀對應的第一目標關鍵幀；將第二圖像幀與候選場景地圖中的關鍵幀進行匹配，從而確定與第二圖像幀對應的第二目標關鍵幀；其中，一個候選場景地圖包括至少一個關鍵幀；當第一目標關鍵幀和第二目標關鍵幀屬于同一個候選場景地圖時，確定第一目標關鍵幀和第二目標關鍵幀所屬的候選場景地圖為與當前場景對應的當前場景地圖。其中，當前場景是指AR/VR設備在使用時所處的場景，比如一個房間，或者一片場地，具體范圍和大小根據使用需求而變化，此處不做限定。通過在現有的地圖中進行搜索，尋找與當前場景匹配的當前場景地圖，避免在已經存在當前場景地圖時對當前場景重復建圖，有效節省了AR/VR設備的建圖運算負擔，提高使用效率。

可選的，在將第一圖像幀與候選場景地圖中的關鍵幀進行匹配，從而確定與第一圖像幀對應的第一目標關鍵幀時，地圖搜索模塊具體可以用于：獲取第一圖像幀的特征信息，并將這一特征信息與關鍵幀的特征信息進行匹配，從而確定第一目標關鍵幀，在所有關鍵幀中，第一目標關鍵幀的特征信息與第一圖像幀的特征信息之間的差異最小，其中，第一圖像幀的特征信息包括第一圖像幀中特征點的特征，關鍵幀的特征信息包括關鍵幀中特征點的特征。