[發明專利]一種融合VR和AR的虛擬現實展示系統及其實現方法

有效

• 申請號: 201710569296.2
• 申請日: 2017-07-13
• 公開（公告）號: CN107340870B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 陳小明;袁華宏;張小龍
• 申請（專利權）人: 深圳市未來感知科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 深圳市遠航專利商標事務所(普通合伙) 44276
• 代理人: 田志遠;張朝陽

本發明公開了一種融合VR和AR的虛擬現實展示系統及其實現方法，包括立體交互顯示與分享設備和控制系統，佩戴有立體顯示眼鏡的用戶通過交互筆來與立體交互顯示設備內的虛擬世界進行交互，攝像頭獲取用戶的交互姿態，并在普通顯示設備中以增強現實的方式將虛擬世界疊加在現實世界中呈現出來；控制系統包括服務端和客戶端，服務端和客戶端通過通訊層進行通訊。本發明融合VR和AR技術，使用VR交互技術為使用者帶來沉浸式的用戶體驗，同時將沉浸在用戶眼前的虛擬世界以AR的方式分享給旁觀者，從而為雙方的交流溝通提供了一個高質量的虛擬現實平臺。

技術領域

本發明涉及虛擬現實領域，具體的說，是涉及一種融合VR和AR的虛擬現實展示系統及其實現方法。

背景技術

虛擬現實技術的出現成為人機交互一個重要分支，虛擬現實技術作為新一代的人機交互技術，依靠實時計算空間三維信息。虛擬現實技術(VR)主要包括模擬環境、感知、自然技能和傳感設備等方面：模擬環境是由計算機生成的、實時動態的三維立體逼真圖像；感知是指理想的VR應該具有一切人所具有的感知，除計算機圖形技術所生成的視覺感知外，還有聽覺、觸覺、力覺、運動等感知，甚至還包括嗅覺和味覺等，也稱為多感知；自然技能是指人的頭部轉動，眼睛、手勢、或其他人體行為動作，由計算機來處理與參與者的動作相適應的數據，并對用戶的輸入做出實時響應，并分別反饋到用戶的五官；傳感設備是指三維交互設備，常用的有立體頭盔、數據手套、三維鼠標、數據衣等穿戴于用戶身上的裝置和設置于現實環境中的傳感裝置，如攝像機、地板壓力傳感器等。

目前虛擬現實往往提供的是一種沉浸式交互體驗，讓用戶在以假亂真的虛擬世界中獲得高質量的感知體驗，而作為站在用戶身旁的旁觀者來講，他們往往只能看著用戶自娛自樂，不能同用戶一起分享這種沉浸式的體驗，從而給用戶與旁觀者之間的實時交流溝通帶來一定程度上的阻礙，進而對虛擬現實走進教室、會議室以及其他多人交流場景帶來無形的溝壑。

上述缺陷，值得解決。

發明內容

為了克服現有的技術的不足，本發明提供一種融合VR和AR的虛擬現實展示系統及其實現方法。

本發明技術方案如下所述：

一種融合VR和AR的虛擬現實展示系統，其特征在于，包括立體交互顯示與分享設備和控制系統；

所述立體交互顯示與分享設備中，佩戴有立體顯示眼鏡的用戶通過交互筆來與立體交互顯示設備內的虛擬世界進行交互，攝像頭獲取用戶的交互姿態，并在普通顯示設備中以增強現實的方式將虛擬世界疊加在現實世界中呈現出來；

所述控制系統包括服務端和客戶端，所述服務端和所述客戶端通過通訊層進行通訊，所述服務端負責管理攝像頭、計算攝像頭與屏幕相對空間位姿關系數據、接收并解壓客戶端傳送數據后呈現；所述客戶端負責提取服務端所需的數據，并將這些數據融合成視頻流數據，壓縮后傳給服務端。

根據上述方案的本發明，其特征在于，所述立體交互顯示設備包括立體顯示器、工業相機模組、主動式或被動式立體眼鏡、交互筆以及計算機系統，所述工業相機模組獲得視場范圍內的兩幅或者兩幅以上的圖像信號，并把該圖像信號輸入到所述計算機系統，所述計算機系統區分、跟蹤用戶佩戴的所述主動式或被動式立體眼鏡和所述交互筆上具有高反射涂層的標記點或主動發光元件，分別輸出用戶視線與所述立體顯示器的焦點和所述交互筆的空間位置和方向。

根據上述方案的本發明，其特征在于，使用TCP協議連接客戶端和服務端，將客戶端壓縮加密后的數據流傳給服務端。

根據上述方案的本發明，其特征在于，所述客戶端包括攝像頭管理模塊、圖像融合模塊以及數據壓縮與傳送模塊，所述攝像頭管理模塊攝取用戶的使用數據，所述圖像融合模塊將圖像數據進行融合并傳送給所述數據壓縮與傳送模塊，所述數據壓縮與傳送模塊對圖像數據進行壓縮收傳給所述服務端。