[發(fā)明專利]一種虛實(shí)融合顯示交互方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202310347819.4
• 申請(qǐng)日: 2023-04-03
• 公開（公告）號(hào): CN116400808A
• 公開（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 郭署山;李冬;賀文杰;黃起強(qiáng);張婷婷
• 申請(qǐng)（專利權(quán)）人: 北京臨近空間飛艇技術(shù)開發(fā)有限公司
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00;G06F18/241
• 代理公司: 北京理工大學(xué)專利中心 11120
• 代理人: 李微微

本發(fā)明提供的一種虛實(shí)融合顯示交互方法，將對(duì)象的視覺信息融合到虛擬環(huán)境中，允許用戶直接與物理空間中的對(duì)象進(jìn)行交互，與現(xiàn)有方法相比，本發(fā)明通過深度學(xué)習(xí)算法提取對(duì)象視覺信息并同時(shí)檢測(cè)對(duì)象類別，用戶能夠自主控制不同種類的對(duì)象在虛擬環(huán)境中的表現(xiàn)形式，避免信息沖突與冗余，使系統(tǒng)具有更高的交互自由度與泛用性；并且，本發(fā)明還可以動(dòng)態(tài)調(diào)節(jié)虛實(shí)融合比例，包括利用深度學(xué)習(xí)提取物理空間的對(duì)象類別與視覺信息，基于不同層級(jí)對(duì)象與用戶交互意愿定義的信息選擇性表達(dá)規(guī)則。

技術(shù)領(lǐng)域

本發(fā)明屬于虛擬現(xiàn)實(shí)技術(shù)領(lǐng)域，具體涉及一種虛實(shí)融合顯示交互方法，提供了一種用戶佩戴頭戴式顯示器時(shí)與真實(shí)物理環(huán)境的隔離問題的解決方案。

背景技術(shù)

虛擬現(xiàn)實(shí)技術(shù)通過結(jié)合計(jì)算機(jī)技術(shù)、三維圖形技術(shù)、顯示技術(shù)等生成一個(gè)具有逼真三維視覺、觸覺等多種感官體驗(yàn)的虛擬世界，并借助一系列硬件設(shè)備使虛擬世界中的用戶產(chǎn)生身臨其境的感覺。其中，頭戴式顯示器(Head?Mounted?Display，HMD)能夠?qū)⒂?jì)算機(jī)生成的虛擬世界呈現(xiàn)在用戶眼前。為了保證用戶在虛擬世界中的沉浸感，HMD通常會(huì)將佩戴者的視覺與物理空間隔離，這會(huì)使用戶與物理空間的交互變得十分困難。并且現(xiàn)有的大多數(shù)虛擬現(xiàn)實(shí)系統(tǒng)所采用的交互工具，是類似于游戲手柄的控制器，雖然能一定程度上滿足用戶的交互需求，但是固定的外形與重量使其難以為用戶豐富的交互行為提供真實(shí)的物理反饋。

為了使用戶能與物理空間中的對(duì)象進(jìn)行交互，一種解決方法是在虛擬世界中為對(duì)象創(chuàng)建一個(gè)虛擬替代物。虛擬替代物具有與物理實(shí)體相似的外形與功能，以滿足沉浸感和交互性。對(duì)于一些外形簡單、功能單一的對(duì)象來說，這種方法相對(duì)便捷，但對(duì)于具有復(fù)雜外形或者獨(dú)特功能的對(duì)象，無論是虛擬替代物的外形建模還是從物理空間到虛擬世界的功能映射，都是難以實(shí)現(xiàn)的。

另一種方法則是將包括對(duì)象在內(nèi)的一部分物理空間的視覺信息融合到虛擬世界中，使用戶能夠看到真實(shí)的畫面。這種方法允許用戶在虛擬世界直接與物理實(shí)體進(jìn)行交互，而且能提供真實(shí)的物理反饋，但如何控制融合到虛擬世界中的物理信息是十分關(guān)鍵的問題。

文獻(xiàn)“Alaee?G,Deasi?A?P,Pena-Castillo?L,et?al.Auser?study?on?augmentedvirtuality?using?depth?sensing?cameras?for?near-range?awareness?in?immersivevr[C]//IEEE?VR’s?4th?Workshop?on?Everyday?Virtual?Reality(WEVR?2018).2018,10:3”中，針對(duì)虛擬現(xiàn)實(shí)環(huán)境中近距離感知的用戶體驗(yàn)，提出近程增強(qiáng)虛擬。通過在HMD上方安裝深度相機(jī)獲取深度信息，提取與相機(jī)距離在10到40厘米之間的所有對(duì)象信息并融合到虛擬世界之中，使用戶可以直接與對(duì)象交互。該技術(shù)方案人為劃分了相機(jī)前10到40厘米這一固定的交互區(qū)域，限制了系統(tǒng)交互的空間自由度。對(duì)于出現(xiàn)在交互區(qū)域內(nèi)的對(duì)象未進(jìn)行識(shí)別與篩選，而是沒有選擇性地將所有信息融合到虛擬世界之中，信息的冗雜會(huì)導(dǎo)致不必要的交互與錯(cuò)誤的交互，影響用戶的體驗(yàn)。

文獻(xiàn)“Bai?H,Zhang?L,Yang?J,et?al.Bringing?full-featured?mobile?phoneinteraction?into?virtual?reality[J].ComputersGraphics,2021,97:42-53”利用HMD自帶的控制器獲取智能手機(jī)的精確位姿。利用屏幕鏡像軟件獲取手機(jī)屏幕的實(shí)時(shí)畫面，傳入虛擬世界并在虛擬替代物的表面顯示。結(jié)合深度信息以及HSV閾值分割，獲取攝像頭捕獲畫面中的手部像素點(diǎn)，并在虛擬環(huán)境中以點(diǎn)云的形式重建用戶的三維真實(shí)手。該技術(shù)方案僅針對(duì)用戶的真實(shí)手與智能手機(jī)設(shè)計(jì)，不能拓展到其他類別的對(duì)象，泛用性較低。

對(duì)于物理空間中的對(duì)象在虛擬世界的呈現(xiàn)，若全以視覺信息進(jìn)行顯示，會(huì)嚴(yán)重破壞虛擬環(huán)境沉浸感，若始終以虛擬替代物的形式存在，又會(huì)影響用戶使用其功能時(shí)獲得的物理反饋。

發(fā)明內(nèi)容