[發明專利]一種全景場景中的導航方法及系統、AR/VR客戶端設備

有效

• 申請號: 201710332927.9
• 申請日: 2017-05-11
• 公開（公告）號: CN108876926B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 趙星星
• 申請（專利權）人: 京東方科技集團股份有限公司
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06T15/00;G06T7/80
• 代理公司: 北京中博世達專利商標代理有限公司 11274
• 代理人: 申健

本發明的實施例提供一種全景場景中的導航方法及全景場景中導航的系統、AR/VR客戶端設備，涉及AR、VR技術領域，可實現三維動態的實時導航。全景場景中的導航方法包括：采用第一攝像設備進行圖像拍攝，并將拍攝的深度圖像實時傳送至中央計算設備；第一攝像設備包括多個深度攝像機，且拍攝范圍覆蓋360°；中央計算設備以所有深度攝像機在同一時間拍攝的多幅圖像為一幀，根據深度攝像機的標定參數，進行點云拼接，消除冗余數據，得到針對每一幀的點云數據并進行壓縮保存；AR/VR客戶端設備導入中央計算設備中保存的點云數據，按先后順序依次針對每一幀的點云數據，根據使用者當前的位置信息和方位角渲染出對應的視角的圖像，并傳輸至顯示屏進行顯示。

技術領域

本發明涉及AR、VR技術領域，尤其涉及一種全景場景中的導航方法及全景場景中導航的系統、AR/VR客戶端設備。

背景技術

近幾年，隨著增強現實(Augmented Reality，簡稱AR)、虛擬現實(VirtualReality，簡稱VR)技術的普及，其可以實現全景視頻。

但是由于這種基于AV/VR的全景視頻，使用360°全景攝像機，使得用戶只能在攝像機所在位置看到全景視頻，在其他位置則看不到全景視頻。

發明內容

本發明的實施例提供一種全景場景中的導航方法及全景場景中導航的系統、AR/VR客戶端設備，可實現三維動態的實時導航。

為達到上述目的，本發明的實施例采用如下技術方案：

第一方面，提供一種全景場景中的導航方法，包括：采用第一攝像設備進行圖像拍攝，并將拍攝的深度圖像實時傳送至中央計算設備；其中，所述第一攝像設備包括多個深度攝像機，多個所述深度攝像機的拍攝范圍覆蓋360°；所述中央計算設備以所有所述深度攝像機在同一時間拍攝的多幅圖像為一幀，根據所述深度攝像機的標定參數，進行點云拼接，消除冗余數據，得到針對每一幀的點云數據，并將所述點云數據進行壓縮保存；其中，同一時間每個所述深度攝像機拍攝一幅圖像；AR/VR客戶端設備導入所述中央計算設備中保存的所述點云數據，按所有幀中得到每一幀所述點云數據的先后順序，依次針對每一幀的所述點云數據，根據獲取的使用者當前的位置信息和方位角，渲染出與當前所述位置信息和所述方位角對應的視角的圖像，并傳輸至顯示屏進行顯示。

優選的，所述方法還包括：采用第二攝像設備進行圖像拍攝，并將拍攝的深度圖像實時傳送至中央計算設備；其中，所述第二攝像設備位于所述第一攝像設備的上方且拍攝角度朝上；所述第二攝像設備包括多個所述深度攝像機。

基于此，所述中央計算設備以所有所述深度攝像機在同一時間拍攝的多幅圖像為一幀，根據所述深度攝像機的標定參數，進行點云拼接，包括：所述中央計算設備以所述第一攝像設備和所述第二攝像設備中所有所述深度攝像機在同一時間拍攝的多幅圖像為一幀，根據所述深度攝像機的標定參數，進行點云拼接。

優選的，所述方法還包括：獲取所述標定參數；其中，針對任一攝像設備，獲取所述標定參數，包括：以預先設定的多面體作為標定物，所述標定物的每個面均為棋盤格，且每個面采用不同的顏色進行區分；通過變換所述標定物在空間中的角度，使攝像設備中每個所述深度攝像機拍攝的圖像為所述標定物特定的一個面在多個角度下的圖像，且每個所述深度攝像機將所拍攝的圖像傳送至中央計算設備保存；所述中央計算設備根據攝像設備中每個所述深度攝像機拍攝的針對一個特定面的多幅圖像，計算所述深度攝像機的內參和外參，得到所述深度攝像機的標定參數，并保存所述標定參數。

優選的，采用ICP法、ICL法、ICT法中的一種進行點云拼接。

優選的，采用均勻采樣法、倍率縮減法、弦偏移法、柵格法中的一種，將所述點云數據進行壓縮保存。

進一步的，采用柵格法中的八叉樹方式，將所述點云數據進行壓縮保存。