[發(fā)明專利]一種虛擬及增強現(xiàn)實設(shè)備與其他無線設(shè)備進行交互的方法

在審

• 申請?zhí)枺?/td>: 201810457309.1
• 申請日: 2018-05-14
• 公開（公告）號: CN108646997A
• 公開（公告）日: 2018-10-12
• 發(fā)明（設(shè)計）人: 劉智勇
• 申請（專利權(quán)）人: 劉智勇
• 主分類號: G06F3/14
• 分類號: G06F3/14
• 代理公司: 天津市三利專利商標(biāo)代理有限公司 12107
• 代理人: 張義

本發(fā)明公開了一種虛擬及增強現(xiàn)實設(shè)備與其他無線設(shè)備進行交互的方法。具備無線傳輸功能以及攝像頭透視功能的頭戴式虛擬及增強現(xiàn)實設(shè)備作為第一設(shè)備，具備無線傳輸功能的其他設(shè)備作為第二設(shè)備，使用第一設(shè)備的透視功能，將視野內(nèi)的一個或多個第二設(shè)備顯示在第一設(shè)備的頭戴式屏幕上，用戶在視覺可見的狀態(tài)下，對一個或多個第二設(shè)備進行操作，并利用第一設(shè)備和第二設(shè)備之間的無線數(shù)據(jù)交換，實現(xiàn)用戶對第一設(shè)備的操作，以及第一設(shè)備和第二設(shè)備之間的交互操作的目的。本發(fā)明提出了5種操作模式，使用智能手機為首選的一個或多個第二設(shè)備，方便快捷的完成對第一設(shè)備上運行的虛擬現(xiàn)實應(yīng)用、增強現(xiàn)實應(yīng)用或傳統(tǒng)應(yīng)用的操作。

技術(shù)領(lǐng)域

本發(fā)明涉及增強現(xiàn)實和虛擬現(xiàn)實技術(shù)領(lǐng)域，特別是涉及一種虛擬及增強現(xiàn)實設(shè)備與其他無線設(shè)備進行交互的方法。

背景技術(shù)

近年來，包括PC VR頭盔、VR一體機以及增強現(xiàn)實眼鏡等越來越多的VR/AR設(shè)備涌現(xiàn)，業(yè)界普遍把VR/AR設(shè)備看做臺式電腦、筆記本電腦和智能手機之后的下一代計算平臺，作為一個計算平臺，沒有方便快捷的輸入輸出設(shè)備的輔助，是萬萬不行的。而傳統(tǒng)VR設(shè)備，人眼只能看到生成的3d虛擬空間，無法看到手中的輸入設(shè)備，只能采用盲操作的方式操控輸入設(shè)備。例如傳統(tǒng)VR頭盔中盛行的3dof或6dof手柄，作為輸入設(shè)備的效率十分低下，尤其涉及文字輸入時。而語音輸入這類方法，缺乏隱私保護能力，不適合公共場合下的應(yīng)用。

發(fā)明內(nèi)容

針對上述現(xiàn)有技術(shù)中存在的技術(shù)問題，本發(fā)明提供了一種虛擬及增強現(xiàn)實設(shè)備與其他無線設(shè)備進行交互的方法。

為實現(xiàn)本發(fā)明的目的，本發(fā)明提供了一種虛擬及增強現(xiàn)實設(shè)備與其他無線設(shè)備進行交互的方法，具備無線傳輸功能以及攝像頭透視功能的頭戴式虛擬及增強現(xiàn)實設(shè)備作為第一設(shè)備，具備無線傳輸功能的其他設(shè)備作為第二設(shè)備，使用第一設(shè)備的透視功能，將視野內(nèi)的一個或多個第二設(shè)備顯示在第一設(shè)備的頭戴式屏幕上，用戶在視覺可見的狀態(tài)下，對一個或多個第二設(shè)備進行操作，并利用第一設(shè)備和第二設(shè)備之間的無線數(shù)據(jù)交換，實現(xiàn)用戶對第一設(shè)備的操作，以及第一設(shè)備和第二設(shè)備之間的交互操作的目的。

相應(yīng)地，本發(fā)明提供了一種虛擬及增強現(xiàn)實設(shè)備的操作方法，具備無線傳輸功能以及攝像頭透視(see through)功能的頭戴式虛擬及增強現(xiàn)實設(shè)備作為第一設(shè)備，具備無線傳輸功能的其他設(shè)備作為第二設(shè)備，第一設(shè)備正在運行虛擬現(xiàn)實應(yīng)用，此時第一設(shè)備的工作模式切換為虛擬現(xiàn)實模式，第一設(shè)備的攝像頭功能開啟，捕捉外部真實場景圖像，但是透視功能關(guān)閉，攝像頭捕捉的圖像并不顯示在第一設(shè)備的屏幕上，用戶在屏幕上看到的是第一設(shè)備生成的3d虛擬空間，外部真實場景不可見，第一設(shè)備的交互界面被顯示在該虛擬空間內(nèi)，然后使用第二設(shè)備，以觸摸屏控制和模擬手柄的方式運行，完成對第一設(shè)備的操作：第二設(shè)備必須具備陀螺儀傳感器和觸摸屏，在第二設(shè)備屏幕上顯示輔助定位的圖形，第一設(shè)備通過接收第二設(shè)備的陀螺儀數(shù)據(jù)，結(jié)合第一設(shè)備自身運動傳感器的數(shù)據(jù)，攝像頭捕捉到的第二設(shè)備的位置以及第二設(shè)備屏幕上的輔助定位圖形，通過運算，在虛擬空間的相應(yīng)位置渲染出第二設(shè)備的虛擬影像，在該虛擬設(shè)備影像的屏幕位置，繪制當(dāng)前應(yīng)用所需的虛擬用戶界面；通過第一設(shè)備攝像頭捕捉到的用戶手指相對第二設(shè)備屏幕上輔助定位圖形的所在位置，在虛擬空間中第二設(shè)備虛擬影像的相對位置上繪制虛擬的用戶手指，用于操作該虛擬用戶界面；根據(jù)陀螺儀數(shù)據(jù)生成一條由第二設(shè)備虛擬影像向外發(fā)射的一條射線，在虛擬空間中作為虛擬指示射線；用戶通過在第一設(shè)備屏幕上看到第二設(shè)備虛擬影像，虛擬用戶界面和虛擬用戶手指，在第二設(shè)備觸摸屏上移動、觸摸或點擊屏幕，完成對虛擬用戶界面的操作；用戶對第二設(shè)備進行旋轉(zhuǎn)移動操作，控制虛擬指示射線與虛擬空間中的虛擬物件進行交互；第二設(shè)備將用戶的操作行為通過無線網(wǎng)絡(luò)，傳輸給第一設(shè)備，對當(dāng)前運行的應(yīng)用進行控制。