[發明專利]一種混合虛擬現實的方法

在審

• 申請號: 201810060883.3
• 申請日: 2018-01-22
• 公開（公告）號: CN108305326A
• 公開（公告）日: 2018-07-20
• 發明（設計）人: 來國軍;王曉衛;紀雙星;楊而蒙;王召峰;劉寶珠
• 申請（專利權）人: 中國人民解放軍陸軍航空兵學院
• 主分類號: G06T19/00
• 分類號: G06T19/00;G06F3/01;G09B9/30;G02B27/00
• 代理公司: 北京中企鴻陽知識產權代理事務所(普通合伙) 11487
• 代理人: 郭鴻雁

1.一種混合虛擬現實的方法，其特征在于：

步驟S1：通過配置于人眼位置的兩個攝像頭對模擬艙內的范圍深度下的所有設備、人員包括自身進行自適應的空間映射，對雙眼可視范圍內進行三維重建，對雙眼聚焦的中心范圍內進行精細三維重建，對雙眼聚焦范圍外進行粗糙三維重建；

步驟S2：通過固定在模擬艙周圍的固定位置和角度的攝像機采集所述模擬艙外的特征點實時信息以及通過VR頭盔和定位器獲得的人體相對空間位置信息，對虛擬場景進行補償和修正以及對虛擬場景內的深度信息和真實距離信息進行匹配，獲得虛擬場景與VR頭盔的相對位置關系；

步驟S3：通過跟蹤眼部的瞳孔和頭部運動對虛擬畫面進行分層渲染，以瞳孔的位置為中心點由內到外依次進行渲染，渲染的分辨率由內到外依次降低。

2.根據權利要求1所述的混合虛擬現實的方法，其特征在于：

在所述步驟S1中，通過配置于人眼位置的兩個攝像頭對模擬艙內的范圍深度下的所有設備、人員包括自身進行自適應的空間映射時：對兩個攝像頭拍攝的空間區域進行分割，在分割時分別依次采用三種由小到大的體素尺寸進行分割，將相同的空間區域分割成為三組具有數據獨立性的體素集合。

3.根據權利要求2所述的混合虛擬現實的方法，其特征在于：

對雙眼可視范圍內進行三維重建，對雙眼聚焦的中心范圍內進行精細三維重建，對雙眼聚焦范圍外進行粗糙三維重建時：確定每個體素的狀態，并獲得非空體素集合；對雙眼聚焦范圍進行實時追蹤，對雙眼聚焦的中心范圍內的區域選取最小尺寸的體素集合，對雙眼聚焦的中心范圍外、可視區域以內的部分選擇大于雙眼聚焦的中心范圍內的尺寸的體素集合，對雙眼其它可視范圍選擇最大尺寸的體素集合，實現重建效果由雙眼聚焦范圍的由內到外依次由精細到粗糙；然后進行像素化的紋理映射，得到虛擬場景的三維紋理效果。

4.根據權利要求1所述的混合虛擬現實的方法，其特征在于：

在所述步驟S2中，通過固定在模擬艙周圍的固定位置和角度的攝像機采集所述模擬艙外的特征點實時信息時：固定在模擬艙周圍的固定位置和角度的攝像機通過最小二乘法對所述攝像機進行參數標定，并對靜態的模擬艙表面的特征點初始位置進行記錄，通過立體成像原理和坐標轉換得到模擬艙的初始位姿，建立初始坐標系。

5.根據權利要求4所述的混合虛擬現實的方法，其特征在于：

在模擬艙運動的過程中，通過固定在模擬艙周圍的固定位置和角度的攝像機實時拍攝動態變化的特征點，并通過SURF算法進行特征點提取，采用KLT算法進行特征點匹配，實現模擬艙快速運動產生位移變化時，對特征點進行跟蹤匹配。

6.根據權利要求5所述的混合虛擬現實的方法，其特征在于：

通過固定在模擬艙周圍的固定位置和角度的攝像機得到模擬艙運動時的特征點的世界坐標，計算該時刻特征點相對于初始坐標的變化，從而得到模擬艙的位置關系，并通過VR頭盔和定位器獲得人體相對空間位置信息，根據在初始坐標系中的模擬艙和人體的位置信息，通過逆向轉換對虛擬畫面進行動態修正，并匹配內部虛擬場景與外部真實場景空間感和距離感。

7.根據權利要求5所述的混合虛擬現實的方法，其特征在于：

在提取特征點時，所述特征點采用內圈為白色外圈為黑色的圓形黑白對比顏色的特征點，通過SURF算法進行特征點提取時，通過相機拍攝圖像的高斯差分金字塔DOG并提取每組圖像的第一層圖像，對每組圖像采取最大類間差分法進行自適應閾值分割獲得二值圖，并將該二值圖作為約束條件進行特征點檢測，使SURF檢測在特征點的內部邊緣區域進行。

8.根據權利要求6所述的混合虛擬現實的方法，其特征在于：

采用KLT算法進行特征點匹配時，在高斯差分金字塔DOG的最高層計算光流，把計算得到的運動估值作為下一層計算的初始點，經過多次迭代直至最底層。