[發(fā)明專利]基于HoloLens的電腦操作臺(tái)全息展現(xiàn)與自然交互應(yīng)用方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710872591.5
• 申請(qǐng)日: 2017-09-25
• 公開（公告）號(hào): CN107680165B
• 公開（公告）日: 2021-01-26
• 發(fā)明（設(shè)計(jì)）人: 陳玥同;陳杰
• 申請(qǐng)（專利權(quán)）人: 中國(guó)電子科技集團(tuán)公司第二十八研究所
• 主分類號(hào): G06T19/00
• 分類號(hào): G06T19/00
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 唐紅

1.一種基于HoloLens的電腦操作臺(tái)全息展現(xiàn)與自然交互應(yīng)用方法，其特征在于：依次包括以下步驟：

(1)全息顯示：依照實(shí)際電腦操作臺(tái)等比例縮小尺寸，建立電腦操作臺(tái)模型并以此搭建虛擬場(chǎng)景，將虛擬場(chǎng)景導(dǎo)入HoloLens眼鏡，全息顯示在真實(shí)空間；

(2)虛實(shí)融合：通過(guò)HoloLens利用SLAM技術(shù)進(jìn)行環(huán)境理解，定位用戶，得到真實(shí)環(huán)境數(shù)據(jù)；

(3)自然人機(jī)交互：通過(guò)HoloLens以及交互層次模型實(shí)現(xiàn)用戶與虛擬電腦操作臺(tái)的友好交互；自然人機(jī)交互時(shí)通過(guò)HoloLens的深度攝像頭數(shù)據(jù)得到的手勢(shì)距離、SLAM獲得的用戶位置和搭建虛擬場(chǎng)景中物體的擺放位置來(lái)計(jì)算頭部光標(biāo)位置、手勢(shì)方位及動(dòng)作，進(jìn)而對(duì)虛擬物體進(jìn)行視線跟蹤與手勢(shì)交互；通過(guò)特定詞的語(yǔ)音識(shí)別命令對(duì)虛擬物體進(jìn)行語(yǔ)音交互；自然交互時(shí)的交互模式包括以下兩種組合：

組合方式一：通過(guò)視線與手勢(shì)操作完成：①根據(jù)自己的審美變換電腦操作臺(tái)的材質(zhì)、顏色和款式；②調(diào)整電腦操作臺(tái)的高矮、大小和傾斜度以適合自己的身材；

組合方式二：通過(guò)視線與語(yǔ)音指令完成：①對(duì)比不同型號(hào)的電腦操作臺(tái)，來(lái)選擇性價(jià)比最高最中意的類型；②實(shí)時(shí)修改設(shè)計(jì)方案，更換、增加/刪減零部件，根據(jù)自己的習(xí)慣來(lái)選擇最適合自己的工作模式；

(4)對(duì)步驟(3)中的自然交互進(jìn)行交互性能評(píng)價(jià)和信息查詢；具體包括如下內(nèi)容：

(4.1)通過(guò)建立交互評(píng)價(jià)指標(biāo)體系來(lái)評(píng)價(jià)交互性能：建立包括三級(jí)目標(biāo)的評(píng)價(jià)體系并對(duì)逐個(gè)評(píng)價(jià)子目標(biāo)進(jìn)行評(píng)價(jià)任務(wù)的解析并給予定量參考，制定評(píng)價(jià)項(xiàng)系數(shù)的計(jì)算方法，確定各個(gè)評(píng)價(jià)項(xiàng)系數(shù)；

(4.2)信息查詢的方式有以下兩種：

(A)事先定義在HoloLens眼鏡中，即將查詢獲得的信息內(nèi)容事先在HoloLens眼鏡中定義好，設(shè)計(jì)者事先考慮用戶需要查詢的對(duì)象、想要得知的信息和中意的展現(xiàn)形式，在搭建虛擬場(chǎng)景時(shí)，為虛擬組件添加事件響應(yīng)，當(dāng)用戶通過(guò)交互觸發(fā)事件后，HoloLens眼鏡響應(yīng)并將反饋結(jié)果呈現(xiàn)展示；

(B)借助搜索服務(wù)器實(shí)時(shí)查詢，設(shè)計(jì)者考慮查詢的對(duì)象與展現(xiàn)形式，獲取的信息結(jié)果由搜索服務(wù)器返回，具體過(guò)程如下：在搭建虛擬場(chǎng)景時(shí)，設(shè)計(jì)好虛擬組件及父節(jié)點(diǎn)，包括虛擬零件的組合形式和名稱，用戶通過(guò)交互將需要查詢的對(duì)象通過(guò)網(wǎng)絡(luò)傳輸給搜索服務(wù)器，然后在搜索服務(wù)器上搜索信息、獲取結(jié)果，然后將結(jié)果再通過(guò)網(wǎng)絡(luò)反饋給HoloLens眼鏡，最后在HoloLens眼鏡中以合適的展現(xiàn)形式呈現(xiàn)出來(lái)。

2.根據(jù)權(quán)利要求1所述的基于HoloLens的電腦操作臺(tái)全息展現(xiàn)與自然交互應(yīng)用方法，其特征在于：所述步驟(1)中，首先根據(jù)房間的實(shí)際空間大小調(diào)節(jié)電腦操作臺(tái)的尺寸，然后根據(jù)用戶的實(shí)際需要將電腦操作臺(tái)放置于地面。

3.根據(jù)權(quán)利要求1所述的基于HoloLens的電腦操作臺(tái)全息展現(xiàn)與自然交互應(yīng)用方法，其特征在于：所述步驟(1)中，依照真實(shí)電腦操作臺(tái)等比例建模，通過(guò)3Dmax或Maya建模軟件建立電腦操作臺(tái)的模型，建模過(guò)程中，為了簡(jiǎn)化HoloLens的計(jì)算量，提高運(yùn)行速度與渲染力度，采用三維模型優(yōu)化方法，包括幾何特征優(yōu)化與紋理優(yōu)化；為了保證不同光照條件下的虛擬物體呈現(xiàn)一致性，采用基于圖像的重光照繪制方法解決虛擬物體表面自適應(yīng)光照屬性保持問(wèn)題，包括環(huán)境光圖映射與重光照合成兩個(gè)步驟；然后將優(yōu)化好的模型導(dǎo)入U(xiǎn)nity 3D中搭建虛擬場(chǎng)景，場(chǎng)景中加入攝像機(jī)和自然光照，調(diào)節(jié)虛擬物體的位置、角度和尺寸，保證初始狀態(tài)出現(xiàn)在場(chǎng)景的正中間，最后通過(guò)無(wú)線傳輸將虛擬場(chǎng)景發(fā)布到HoloLens眼鏡，實(shí)現(xiàn)360°全息觀看。

4.根據(jù)權(quán)利要求3所述的基于HoloLens的電腦操作臺(tái)全息展現(xiàn)與自然交互應(yīng)用方法，其特征在于：所述電腦操作臺(tái)的模型包括以下參數(shù)：整體外觀、內(nèi)置零部件、內(nèi)置結(jié)構(gòu)和真實(shí)紋理貼圖。

5.根據(jù)權(quán)利要求3所述的基于HoloLens的電腦操作臺(tái)全息展現(xiàn)與自然交互應(yīng)用方法，其特征在于：搭建虛擬場(chǎng)景時(shí)根據(jù)虛擬物體特性及交互特點(diǎn)，設(shè)計(jì)交互對(duì)象、交互方式、展現(xiàn)形式，組合虛擬物體組件并設(shè)置父節(jié)點(diǎn)，為每一組需要交互的虛擬物體添加物理屬性及交互功能，物理屬性包括“Mesh Renderer”、“Text Mesh”、“Box Collider”、“Animation”；交互功能包括顯示、隱藏、移動(dòng)、旋轉(zhuǎn)。

6.根據(jù)權(quán)利要求1所述的基于HoloLens的電腦操作臺(tái)全息展現(xiàn)與自然交互應(yīng)用方法，其特征在于：所述步驟(3)中的交互層次模型包括物理層、信息層、認(rèn)知層；電腦操作臺(tái)應(yīng)用系統(tǒng)的輸出是可視化的全息三維界面，輸入是多種自然交互方式，其中物理層實(shí)現(xiàn)對(duì)自然交互方式的檢測(cè)、識(shí)別和定位；信息層研究在物理層得到的多種輸入信息的基礎(chǔ)上，進(jìn)行手勢(shì)、動(dòng)作和語(yǔ)音命令語(yǔ)義的定義和識(shí)別，完成通過(guò)HoloLens眼鏡對(duì)虛擬物體操作的實(shí)現(xiàn)；認(rèn)知層在自然交互的基礎(chǔ)上研究如何實(shí)現(xiàn)任務(wù)，并完成自定義功能。