[發(fā)明專利]一種混合虛擬現(xiàn)實(shí)的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201810060883.3
• 申請(qǐng)日: 2018-01-22
• 公開（公告）號(hào): CN108305326A
• 公開（公告）日: 2018-07-20
• 發(fā)明（設(shè)計(jì)）人: 來(lái)國(guó)軍;王曉衛(wèi);紀(jì)雙星;楊而蒙;王召峰;劉寶珠
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍陸軍航空兵學(xué)院
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00;G06F3/01;G09B9/30;G02B27/00
• 代理公司: 北京中企鴻陽(yáng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11487
• 代理人: 郭鴻雁

一種混合虛擬現(xiàn)實(shí)的方法，通過(guò)配置于人眼位置的兩個(gè)攝像頭對(duì)模擬艙內(nèi)的范圍深度下的所有設(shè)備、人員包括自身進(jìn)行自適應(yīng)的空間映射，對(duì)雙眼可視范圍內(nèi)進(jìn)行三維重建，對(duì)雙眼聚焦的中心范圍內(nèi)進(jìn)行精細(xì)三維重建，對(duì)雙眼聚焦范圍外進(jìn)行粗糙三維重建；通過(guò)固定在模擬艙周圍的固定位置和角度的攝像機(jī)采集所述模擬艙外的特征點(diǎn)實(shí)時(shí)信息以及通過(guò)VR頭盔和定位器獲得的人體相對(duì)空間位置信息，對(duì)虛擬場(chǎng)景進(jìn)行補(bǔ)償和修正以及對(duì)虛擬場(chǎng)景內(nèi)的深度信息和真實(shí)距離信息進(jìn)行匹配，獲得虛擬場(chǎng)景與VR頭盔的相對(duì)位置關(guān)系；通過(guò)跟蹤眼部的瞳孔和頭部運(yùn)動(dòng)對(duì)虛擬畫面進(jìn)行分層渲染，以瞳孔的位置為中心點(diǎn)由內(nèi)到外依次進(jìn)行渲染，渲染的分辨率由內(nèi)到外依次降低。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)領(lǐng)域，尤其涉及一種混合虛擬現(xiàn)實(shí)的方法。

背景技術(shù)

隨著混合現(xiàn)實(shí)技術(shù)不斷發(fā)展，在各種模擬領(lǐng)域逐步開始運(yùn)用混合現(xiàn)實(shí)。目前此類基于混合現(xiàn)實(shí)技術(shù)的飛行模擬器中存在一些不足：飛行模擬器處在不同姿態(tài)或運(yùn)動(dòng)、振動(dòng)時(shí)，攝像頭或傳感設(shè)備拍攝畫面抖動(dòng)及定位不準(zhǔn)；人體部位是通過(guò)光學(xué)或慣性傳感設(shè)備在虛擬場(chǎng)景實(shí)體化，無(wú)法實(shí)體化各種設(shè)備；由于虛擬場(chǎng)景中的人體皮膚和服裝缺乏真實(shí)感，不能使人產(chǎn)生真實(shí)的沉浸感；視角視場(chǎng)受頭戴顯示器或攝像頭拍攝視角限制，不能跟蹤眼球及自適應(yīng)對(duì)焦；人在真實(shí)世界中的視覺聽覺觸覺和空間感與虛擬世界不一致，產(chǎn)生的虛幻感和眩暈感較強(qiáng)；系統(tǒng)不能快速集成不同廠家的飛行模擬器，進(jìn)行快捷升級(jí)改造和二次開發(fā)。這些問題導(dǎo)致現(xiàn)實(shí)和虛擬世界無(wú)法融合產(chǎn)生真實(shí)可信的可視化環(huán)境，在新的可視化環(huán)境里物理和數(shù)字對(duì)象無(wú)法共存，并實(shí)時(shí)互動(dòng)，降低了飛行模擬器的實(shí)用性。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)問題，本發(fā)明提供一種混合虛擬現(xiàn)實(shí)的方法。

一種混合虛擬現(xiàn)實(shí)的方法，步驟S1：通過(guò)配置于人眼位置的兩個(gè)攝像頭對(duì)模擬艙內(nèi)的范圍深度下的所有設(shè)備、人員包括自身進(jìn)行自適應(yīng)的空間映射，對(duì)雙眼可視范圍內(nèi)進(jìn)行三維重建，對(duì)雙眼聚焦的中心范圍內(nèi)進(jìn)行精細(xì)三維重建，對(duì)雙眼聚焦范圍外進(jìn)行粗糙三維重建；

步驟S2：通過(guò)固定在模擬艙周圍的固定位置和角度的攝像機(jī)采集所述模擬艙外的特征點(diǎn)實(shí)時(shí)信息以及通過(guò)VR頭盔和定位器獲得的人體相對(duì)空間位置信息，對(duì)虛擬場(chǎng)景進(jìn)行補(bǔ)償和修正以及對(duì)虛擬場(chǎng)景內(nèi)的深度信息和真實(shí)距離信息進(jìn)行匹配，獲得虛擬場(chǎng)景與VR頭盔的相對(duì)位置關(guān)系；

步驟S3：通過(guò)跟蹤眼部的瞳孔和頭部運(yùn)動(dòng)對(duì)虛擬畫面進(jìn)行分層渲染，以瞳孔的位置為中心點(diǎn)由內(nèi)到外依次進(jìn)行渲染，渲染的分辨率由內(nèi)到外依次降低。

優(yōu)選的是，在所述步驟S1中，通過(guò)配置于人眼位置的兩個(gè)攝像頭對(duì)模擬艙內(nèi)的范圍深度下的所有設(shè)備、人員包括自身進(jìn)行自適應(yīng)的空間映射時(shí)：對(duì)兩個(gè)攝像頭拍攝的空間區(qū)域進(jìn)行分割，在分割時(shí)分別依次采用三種由小到大的體素尺寸進(jìn)行分割，將相同的空間區(qū)域分割成為三組具有數(shù)據(jù)獨(dú)立性的體素集合。

優(yōu)選的是，對(duì)雙眼可視范圍內(nèi)進(jìn)行三維重建，對(duì)雙眼聚焦的中心范圍內(nèi)進(jìn)行精細(xì)三維重建，對(duì)雙眼聚焦范圍外進(jìn)行粗糙三維重建時(shí)：確定每個(gè)體素的狀態(tài)，并獲得非空體素集合；對(duì)雙眼聚焦范圍進(jìn)行實(shí)時(shí)追蹤，對(duì)雙眼聚焦的中心范圍內(nèi)的區(qū)域選取最小尺寸的體素集合，對(duì)雙眼聚焦的中心范圍外、可視區(qū)域以內(nèi)的部分選擇大于雙眼聚焦的中心范圍內(nèi)的尺寸的體素集合，對(duì)雙眼其它可視范圍選擇最大尺寸的體素集合，實(shí)現(xiàn)重建效果由雙眼聚焦范圍的由內(nèi)到外依次由精細(xì)到粗糙；然后進(jìn)行像素化的紋理映射，得到虛擬場(chǎng)景的三維紋理效果。

優(yōu)選的是，在所述步驟S2中，通過(guò)固定在模擬艙周圍的固定位置和角度的攝像機(jī)采集所述模擬艙外的特征點(diǎn)實(shí)時(shí)信息時(shí)：固定在模擬艙周圍的固定位置和角度的攝像機(jī)通過(guò)最小二乘法對(duì)所述攝像機(jī)進(jìn)行參數(shù)標(biāo)定，并對(duì)靜態(tài)的模擬艙表面的特征點(diǎn)初始位置進(jìn)行記錄，通過(guò)立體成像原理和坐標(biāo)轉(zhuǎn)換得到模擬艙的初始位姿，建立初始坐標(biāo)系。

優(yōu)選的是，在模擬艙運(yùn)動(dòng)的過(guò)程中，通過(guò)固定在模擬艙周圍的固定位置和角度的攝像機(jī)實(shí)時(shí)拍攝動(dòng)態(tài)變化的特征點(diǎn)，并通過(guò)SURF算法進(jìn)行特征點(diǎn)提取，采用KLT算法進(jìn)行特征點(diǎn)匹配，實(shí)現(xiàn)模擬艙快速運(yùn)動(dòng)產(chǎn)生位移變化時(shí)，對(duì)特征點(diǎn)進(jìn)行跟蹤匹配。