[發(fā)明專利]手勢優(yōu)先級控制方法和系統(tǒng)及其VR眼鏡

在審

• 申請?zhí)枺?/td>: 202011510571.1
• 申請日: 2020-12-18
• 公開（公告）號: CN112631424A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計）人: 葉柳青;胡金鑫;劉暉
• 申請（專利權(quán)）人: 上海影創(chuàng)信息科技有限公司
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 上海段和段律師事務(wù)所 31334
• 代理人: 李佳俊;郭國中

本發(fā)明提供了一種手勢優(yōu)先級控制方法和系統(tǒng)及其VR眼鏡，結(jié)合VR眼鏡當(dāng)前是否正在執(zhí)行第二手勢、第一手勢與第二手勢的指令是否沖突等判斷，選擇性的執(zhí)行手勢。本發(fā)明允許多種手勢對VR眼鏡進行控制，并且通過執(zhí)行優(yōu)先級的規(guī)則，能夠使得多種手勢之間按照優(yōu)先級避免發(fā)生沖突，從而令VR眼鏡佩戴者可更加靈活的對VR眼鏡進行控制，并且多種手勢的優(yōu)先級之間根據(jù)VR眼鏡佩戴者的使用習(xí)慣而自動動態(tài)調(diào)整優(yōu)先級。

技術(shù)領(lǐng)域

本發(fā)明涉及VR眼鏡領(lǐng)域，具體地，涉及手勢優(yōu)先級控制方法和系統(tǒng)及其VR眼鏡。

背景技術(shù)

專利文獻CN106648103A公開了一種VR頭戴設(shè)備的手勢跟蹤方法和VR頭戴設(shè)備，包括以下步驟：采集多個訓(xùn)練圖像；分離手部深度圖像；標(biāo)記三維手勢，形成原始點云；計算法向量和曲率，去均值歸一化；搭建CNN網(wǎng)絡(luò)，CNN網(wǎng)絡(luò)的輸入端分別輸入多法向量、曲率和手部深度圖像，輸出端輸出包括掌心在內(nèi)的多個關(guān)節(jié)點的三維坐標(biāo)；訓(xùn)練后的CNN網(wǎng)絡(luò)作為三維手勢的特征提取器，通過深度攝像頭采集實時動作深度圖像，特征提取器提取并處理實時動作深度圖像中所包含的三維手勢的法向量、曲率和手部深度圖像信息，輸出包含掌心的多個關(guān)節(jié)點的三維坐標(biāo)，并對識別出的三維手勢進行跟蹤。還公開一種VR頭戴設(shè)備。本發(fā)明融合了三維特征信息，具有模型識別率高的優(yōu)點。

專利文獻CN106814846A公開了一種VR中基于視線和碰撞體交點的眼動分析方法，包括步驟：建立三維模型；將所述三維模型導(dǎo)入物理引擎中，并對所述三維模型設(shè)置碰撞體；追蹤用戶視線，根據(jù)所述視線與一個碰撞體確定交點，所述一個碰撞體包括的物體是用戶看到的物體，記錄數(shù)據(jù)。本方法主要應(yīng)用于VR中，結(jié)合眼動技術(shù)，實時記錄興趣區(qū)域，對VR場景中的物體進行360度全景分析，檢測視角、范圍大。

專利文獻CN106339097A公開了一種語音控制和手柄動作控制的VR設(shè)備，屬于VR設(shè)備領(lǐng)域，包括VR設(shè)備本體以及與所述VR設(shè)備本體連接的控制手柄；所述VR設(shè)備本體包括中央處理單元以及與所述中央處理單元分別連接的第一語音識別模塊和第一通訊模塊；所述控制手柄包括陀螺儀傳感器和第二通訊模塊，所述陀螺儀傳感器依次通過第二通訊模塊和第一通訊模塊與所述中央處理單元連接。本發(fā)明結(jié)構(gòu)簡單，能夠更好地進行VR交互的體驗，使得用戶沉浸在VR游戲的體驗中。

現(xiàn)有技術(shù)已經(jīng)給出了眼動、手部運動、語音、手柄等多種控制VR眼鏡的方式，但是這些方式無法在同一個VR眼鏡上協(xié)調(diào)運行。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種手勢優(yōu)先級控制方法和系統(tǒng)及其VR眼鏡。

根據(jù)本發(fā)明提供的一種手勢優(yōu)先級控制方法，包括：

步驟S1，手勢獲取步驟：通過VR眼鏡獲取第一手勢；

步驟S2，判斷當(dāng)前手勢步驟：判斷VR眼鏡當(dāng)前是否正在執(zhí)行第二手勢；若是，則觸發(fā)步驟S3繼續(xù)執(zhí)行；若否，則觸發(fā)步驟S4執(zhí)行；

步驟S3，手勢沖突判斷步驟：判斷第一手勢與第二手勢的指令是否沖突；若是，則觸發(fā)步驟S4繼續(xù)執(zhí)行；若否，則觸發(fā)步驟S5繼續(xù)執(zhí)行；

步驟S4，優(yōu)先級判斷步驟：判斷第一手勢的執(zhí)行優(yōu)先級是否高于第二手勢的執(zhí)行優(yōu)先級；若是，則觸發(fā)步驟S5執(zhí)行；若否，則觸發(fā)步驟S6執(zhí)行；

步驟S5，第一手勢執(zhí)行步驟：通過VR眼鏡根據(jù)第一手勢的指示對虛擬環(huán)境中的虛擬對象進行控制；

步驟S6，第二手勢執(zhí)行步驟：將第一手勢歸入待定手勢集合，通過VR眼鏡根據(jù)第二手勢的指示繼續(xù)對虛擬環(huán)境中的虛擬對象進行控制。

優(yōu)選地，所述手勢獲取步驟中的手勢的種類包括現(xiàn)實環(huán)境的聲響手勢、VR眼鏡佩戴者的語音手勢、眼部手勢、手部手勢、手柄手勢；

所述執(zhí)行優(yōu)先級的規(guī)則包括：