[發明專利]一種融合VR和AR的虛擬現實展示系統及其實現方法

有效

• 申請號: 201710569296.2
• 申請日: 2017-07-13
• 公開（公告）號: CN107340870B
• 公開（公告）日: 2020-09-01
• 發明（設計）人: 陳小明;袁華宏;張小龍
• 申請（專利權）人: 深圳市未來感知科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 深圳市遠航專利商標事務所(普通合伙) 44276
• 代理人: 田志遠;張朝陽

1.一種融合VR和AR的虛擬現實展示系統，其特征在于，包括立體交互顯示與分享設備和控制系統；

所述立體交互顯示與分享設備中，佩戴有立體顯示眼鏡的用戶通過交互筆來與立體交互顯示設備內的虛擬世界進行交互，攝像頭獲取用戶的交互姿態，并在普通顯示設備中以增強現實的方式將虛擬世界疊加在現實世界中呈現出來；

所述控制系統包括服務端和客戶端，所述服務端和所述客戶端通過通訊層進行通訊，所述服務端負責管理攝像頭、計算攝像頭與屏幕相對空間位姿關系數據、接收并解壓客戶端傳送數據后呈現；所述客戶端負責提取服務端所需的數據，并將這些數據融合成視頻流數據，壓縮后傳給服務端，

其中，圖像進行融合的過程中，客戶端在獲得服務端傳來的位置數據后，在虛擬世界里放置建立代表人眼的虛擬相機和代表屏幕的虛擬顯示面，已知虛擬顯示面的位置為t，角度為r，則虛擬相機的位置P’為：

P’=t*T，T為平移矩陣

虛擬相機的角度R’為：

R’=r*R，R為旋移矩陣

客戶端打開攝像頭設備，將視頻流映射到虛擬顯示面上，代表操作筆的虛擬操作筆與虛擬物體之間進行互動，虛擬相機通過拍攝將虛擬顯示面、虛擬操作筆以及虛擬物體融合一起得到實時的圖像流。

2.根據權利要求1所述的融合VR和AR的虛擬現實展示系統，其特征在于，所述立體交互顯示設備包括立體顯示器、工業相機模組、主動式或被動式立體眼鏡、交互筆以及計算機系統，所述工業相機模組獲得視場范圍內的兩幅或者兩幅以上的圖像信號，并把該圖像信號輸入到所述計算機系統，所述計算機系統區分、跟蹤用戶佩戴的所述主動式或被動式立體眼鏡和所述交互筆上具有高反射涂層的標記點或主動發光元件，分別輸出用戶視線與所述立體顯示器的焦點和所述交互筆的空間位置和方向。

3.根據權利要求1所述的融合VR和AR的虛擬現實展示系統，其特征在于，所述客戶端包括攝像頭管理模塊、圖像融合模塊以及數據壓縮與傳送模塊，所述攝像頭管理模塊攝取用戶的使用數據，所述圖像融合模塊將圖像數據進行融合并傳送給所述數據壓縮與傳送模塊，所述數據壓縮與傳送模塊對圖像數據進行壓縮收傳給所述服務端。

4.根據權利要求1所述的融合VR和AR的虛擬現實展示系統，其特征在于，所述服務端包括位姿估算模塊、數據解壓與顯示模塊以及服務端攝像頭管理模塊，所述服務端攝像頭管理模塊對所述客戶端的攝像頭進行管理，所述位姿估算模塊計算攝像頭與屏幕相對空間位姿關系數據，所述數據解壓與顯示模塊接收并解壓客戶端傳送數據后呈現。

5.一種融合VR和AR的虛擬現實展示系統的實現方法，其特征在于，服務端進行初始化，檢測系統中是否存在攝像頭以及該攝像頭能否正常運行；初始化完成以后，服務端啟動攝像頭，調整攝像頭，進行位姿計算，得到并保存攝像頭與VR交互設備屏幕的空間位姿相對關系；服務端和客戶端通過socket協議建立連接，將攝像頭與屏幕的空間位姿關系數據傳給客戶端；客戶端開啟攝像頭，將其獲取的圖像與虛擬相機里的圖像進行融合獲得穩定的圖像流，客戶端壓縮圖像流并將數據通過TCP傳輸給服務端，服務端接收數據后解碼加載顯示，

其中，圖像進行融合的過程中，客戶端在獲得服務端傳來的位置數據后，在虛擬世界里放置建立代表人眼的虛擬相機和代表屏幕的虛擬顯示面，已知虛擬顯示面的位置為t，角度為r，則虛擬相機的位置P’為：

P’=t*T，T為平移矩陣

虛擬相機的角度R’為：

R’=r* R，R為旋移矩陣

客戶端打開攝像頭設備，將視頻流映射到虛擬顯示面上，代表操作筆的虛擬操作筆與虛擬物體之間進行互動，虛擬相機通過拍攝將虛擬顯示面、虛擬操作筆以及虛擬物體融合一起得到實時的圖像流。