[發(fā)明專(zhuān)利]一種基于動(dòng)態(tài)手勢(shì)的VR交互方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201710474290.7
• 申請(qǐng)日: 2017-06-21
• 公開(kāi)（公告）號(hào): CN107272899B
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 王琳;王西穎
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類(lèi)號(hào): G06F3/01
• 分類(lèi)號(hào): G06F3/01
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 孫翠賢;項(xiàng)京

本發(fā)明實(shí)施例提供了一種基于動(dòng)態(tài)手勢(shì)的VR交互方法、裝置及電子設(shè)備。該方法包括：持續(xù)獲取由VR設(shè)備采集的雙目視頻幀；從所獲取的各個(gè)雙目視頻幀的第一目視頻幀中提取手型區(qū)域，所述第一目視頻幀為：左目視頻幀或右目視頻幀；識(shí)別所提取到的各個(gè)手型區(qū)域，得到各個(gè)手型區(qū)域?qū)?yīng)的靜態(tài)手勢(shì)識(shí)別結(jié)果，所述靜態(tài)手勢(shì)的識(shí)別結(jié)果包括：指向或單擊；當(dāng)所得到的各個(gè)靜態(tài)手勢(shì)識(shí)別結(jié)果中包括單擊和指向兩類(lèi)結(jié)果時(shí)，確定發(fā)生單擊和指向的動(dòng)態(tài)手勢(shì)，并執(zhí)行與所述動(dòng)態(tài)手勢(shì)對(duì)應(yīng)的響應(yīng)操作。本發(fā)明實(shí)施例所提供方案可以提高VR交互的響應(yīng)速度和精準(zhǔn)度。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實(shí)領(lǐng)域，特別是涉及一種基于動(dòng)態(tài)手勢(shì)的VR交互方法、裝置及電子設(shè)備。

背景技術(shù)

VR(Virtual Reality，虛擬現(xiàn)實(shí))技術(shù)是利用電腦技術(shù)模擬產(chǎn)生一個(gè)三維空間的虛擬世界，提供使用者關(guān)于視覺(jué)、聽(tīng)覺(jué)、觸覺(jué)等感官的模擬，讓使用者如同身臨其境一般，可以及時(shí)、沒(méi)有限制地觀察三維空間內(nèi)的事物。

其中，VR技術(shù)中的人機(jī)交互指以有效的方式實(shí)現(xiàn)人與計(jì)算機(jī)輸入、輸出設(shè)備產(chǎn)生的虛擬世界實(shí)現(xiàn)對(duì)話的技術(shù)。具體的，VR技術(shù)中的人機(jī)交互的交互形式包括但不局限于外設(shè)、語(yǔ)音、動(dòng)態(tài)手勢(shì)等形式。

傳統(tǒng)的基于指向和單擊構(gòu)成的動(dòng)態(tài)手勢(shì)的VR交互方法(即VR技術(shù)中的人機(jī)交互)中，在識(shí)別動(dòng)態(tài)手勢(shì)時(shí)，為了判斷出每個(gè)手勢(shì)的起點(diǎn)和終點(diǎn)，需要通過(guò)對(duì)視頻幀重復(fù)分析來(lái)尋找動(dòng)態(tài)手勢(shì)的全過(guò)程，例如，現(xiàn)有技術(shù)中，對(duì)于包含動(dòng)態(tài)手勢(shì)的視頻序列進(jìn)行動(dòng)態(tài)手勢(shì)的識(shí)別的過(guò)程中，通過(guò)以選取的幀窗口來(lái)對(duì)幀窗口大小數(shù)量的視頻幀進(jìn)行分析，當(dāng)一個(gè)包含動(dòng)態(tài)手勢(shì)的視頻幀在第5幀為動(dòng)態(tài)手勢(shì)的開(kāi)始時(shí)刻，第15幀為動(dòng)態(tài)手勢(shì)的結(jié)束時(shí)刻，整個(gè)視頻序列為25幀，幀窗口大小為20時(shí)，對(duì)幀的分析的過(guò)程依次可以為1-20幀、2-21幀、3-22幀、4-25幀進(jìn)行識(shí)別，在識(shí)別過(guò)程中包含部分動(dòng)態(tài)手勢(shì)的幀的過(guò)程都可以識(shí)別到動(dòng)態(tài)手勢(shì)，但是不能確定到在哪一幀進(jìn)行動(dòng)態(tài)手勢(shì)的觸發(fā)，同樣的，也不能確定動(dòng)態(tài)手勢(shì)的結(jié)束時(shí)刻，從而需要對(duì)視頻幀重復(fù)分析。

因此，現(xiàn)有技術(shù)中，在識(shí)別動(dòng)態(tài)手勢(shì)中不能快速地且精準(zhǔn)地確定出動(dòng)態(tài)手勢(shì)開(kāi)始時(shí)刻的視頻幀和結(jié)束時(shí)刻的視頻幀，最終導(dǎo)致VR交互的響應(yīng)速度和精準(zhǔn)度較低。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的在于提供一種基于動(dòng)態(tài)手勢(shì)的VR交互方法、裝置及電子設(shè)備，以提高VR交互的響應(yīng)速度和精準(zhǔn)度。具體技術(shù)方案如下：

為達(dá)到上述目的，本發(fā)明實(shí)施例提供了一種基于動(dòng)態(tài)手勢(shì)的VR交互方法，所述方法包括：

持續(xù)獲取由VR設(shè)備采集的雙目視頻幀；

從所獲取的各個(gè)雙目視頻幀的第一目視頻幀中提取手型區(qū)域，所述第一目視頻幀為：左目視頻幀或右目視頻幀；

識(shí)別所提取到的各個(gè)手型區(qū)域，得到各個(gè)手型區(qū)域?qū)?yīng)的靜態(tài)手勢(shì)識(shí)別結(jié)果，所述靜態(tài)手勢(shì)的識(shí)別結(jié)果包括：指向或單擊；

當(dāng)所得到的各個(gè)靜態(tài)手勢(shì)識(shí)別結(jié)果中包括單擊和指向兩類(lèi)結(jié)果時(shí)，確定發(fā)生單擊和指向的動(dòng)態(tài)手勢(shì)，并執(zhí)行與所述動(dòng)態(tài)手勢(shì)對(duì)應(yīng)的響應(yīng)操作。

在本發(fā)明實(shí)施例提供的一種實(shí)現(xiàn)方式中，所述執(zhí)行與所述動(dòng)態(tài)手勢(shì)對(duì)應(yīng)的響應(yīng)操作的步驟，包括：

確定目標(biāo)手型區(qū)域中的食指區(qū)域，其中，所述目標(biāo)手型區(qū)域?yàn)椋核龈鱾€(gè)手型區(qū)域中，所對(duì)應(yīng)靜態(tài)手勢(shì)識(shí)別結(jié)果為指向的一個(gè)手型區(qū)域；

根據(jù)所述食指區(qū)域，確定食指的指向直線；

將所述指向直線與所述VR設(shè)備的顯示區(qū)域的交點(diǎn)作為所述動(dòng)態(tài)手勢(shì)對(duì)應(yīng)的交互點(diǎn)；

在所述交互點(diǎn)上響應(yīng)單擊操作。

在本發(fā)明實(shí)施例提供的一種實(shí)現(xiàn)方式中，其特征在于，所述從所獲取的各個(gè)雙目視頻幀的第一目視頻幀中提取手型區(qū)域的步驟，包括：