[發(fā)明專(zhuān)利]一種AR沉浸式虛擬視覺(jué)感知交互系統(tǒng)和方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011122483.4
• 申請(qǐng)日: 2020-10-20
• 公開(kāi)（公告）號(hào): CN112337082B
• 公開(kāi)（公告）日: 2021-09-10
• 發(fā)明（設(shè)計(jì)）人: 權(quán)磊
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深圳市杰爾斯展示股份有限公司
• 主分類(lèi)號(hào): A63F13/213
• 分類(lèi)號(hào): A63F13/213;G06K9/00
• 代理公司: 深圳市卓科知識(shí)產(chǎn)權(quán)代理有限公司 44534
• 代理人: 邵妍;張金玲

1.一種AR沉浸式虛擬視覺(jué)感知交互系統(tǒng)，其特征在于，包括：

進(jìn)程節(jié)點(diǎn)確定模塊，用于預(yù)先確定AR沉浸式虛擬現(xiàn)實(shí)交互的進(jìn)程演化圖，并通過(guò)所述進(jìn)程演化圖獲得虛擬現(xiàn)實(shí)交互的進(jìn)程節(jié)點(diǎn)，還用于根據(jù)交互指令進(jìn)行所述進(jìn)程演化圖的所述進(jìn)程節(jié)點(diǎn)之間的切換；

動(dòng)作初步識(shí)別模塊，用于采集人體的肢體動(dòng)作視頻，提取每一幀所述肢體動(dòng)作視頻的肢體主要關(guān)節(jié)點(diǎn)，利用所述肢體主要關(guān)節(jié)點(diǎn)的球坐標(biāo)系下空間位置的三維直方圖分布表征獲得肢體主要關(guān)節(jié)點(diǎn)表征向量，進(jìn)而由所述肢體主要關(guān)節(jié)點(diǎn)表征向量參考訓(xùn)練樣本表征矩陣進(jìn)行分類(lèi)，獲取肢體動(dòng)作初步識(shí)別類(lèi)型；

路徑預(yù)測(cè)模塊，用于根據(jù)智能設(shè)備當(dāng)前有效的所述進(jìn)程節(jié)點(diǎn)以及所述肢體動(dòng)作初步識(shí)別類(lèi)型，預(yù)測(cè)所述智能設(shè)備的進(jìn)程演變路徑；

動(dòng)作精度確定模塊，用于根據(jù)預(yù)測(cè)的所述進(jìn)程演變路徑以及其對(duì)應(yīng)的控制精確度需求，確定肢體動(dòng)作提取識(shí)別的精確度需求等級(jí)；

交互指令確定模塊，用于根據(jù)所述精確度需求等級(jí)，確定對(duì)應(yīng)該等級(jí)的肢體主要關(guān)節(jié)點(diǎn)的數(shù)量，利用所述肢體主要關(guān)節(jié)點(diǎn)的球坐標(biāo)系下空間位置的三維直方圖分布表征獲得肢體主要關(guān)節(jié)點(diǎn)表征向量，進(jìn)而由所述肢體主要關(guān)節(jié)點(diǎn)表征向量參考訓(xùn)練樣本表征矩陣進(jìn)行分類(lèi)，獲得所述肢體動(dòng)作的精確識(shí)別分類(lèi)結(jié)果，并根據(jù)精確識(shí)別分類(lèi)結(jié)果將所述肢體動(dòng)作轉(zhuǎn)換為交互指令。

2.一種AR沉浸式虛擬視覺(jué)感知交互方法，其特征在于，包括以下步驟：

進(jìn)程節(jié)點(diǎn)確定步驟，預(yù)先確定AR沉浸式虛擬現(xiàn)實(shí)交互的進(jìn)程演化圖，并通過(guò)所述進(jìn)程演化圖獲得虛擬現(xiàn)實(shí)交互的進(jìn)程節(jié)點(diǎn)，以及根據(jù)交互指令進(jìn)行所述進(jìn)程演化圖的所述進(jìn)程節(jié)點(diǎn)之間的切換；

動(dòng)作初步識(shí)別步驟，采集人體的肢體動(dòng)作視頻，提取每一幀所述肢體動(dòng)作視頻的肢體主要關(guān)節(jié)點(diǎn)，利用所述肢體主要關(guān)節(jié)點(diǎn)的球坐標(biāo)系下空間位置的三維直方圖分布表征獲得肢體主要關(guān)節(jié)點(diǎn)表征向量，進(jìn)而由所述肢體主要關(guān)節(jié)點(diǎn)表征向量參考訓(xùn)練樣本表征矩陣進(jìn)行分類(lèi)，獲取肢體動(dòng)作初步識(shí)別類(lèi)型；

路徑預(yù)測(cè)步驟，根據(jù)智能設(shè)備當(dāng)前有效的所述進(jìn)程節(jié)點(diǎn)以及所述肢體動(dòng)作初步識(shí)別類(lèi)型，預(yù)測(cè)所述智能設(shè)備的進(jìn)程演變路徑；

動(dòng)作精度確定步驟，根據(jù)預(yù)測(cè)的所述進(jìn)程演變路徑以及其對(duì)應(yīng)的控制精確度需求，確定肢體動(dòng)作提取識(shí)別的精確度需求等級(jí)；

交互指令確定步驟，根據(jù)所述精確度需求等級(jí)，確定對(duì)應(yīng)該等級(jí)的肢體主要關(guān)節(jié)點(diǎn)的數(shù)量，利用所述肢體主要關(guān)節(jié)點(diǎn)的球坐標(biāo)系下空間位置的三維直方圖分布表征獲得肢體主要關(guān)節(jié)點(diǎn)表征向量，進(jìn)而由所述肢體主要關(guān)節(jié)點(diǎn)表征向量參考訓(xùn)練樣本表征矩陣進(jìn)行分類(lèi)，獲得所述肢體動(dòng)作的精確識(shí)別分類(lèi)結(jié)果，并根據(jù)精確識(shí)別分類(lèi)結(jié)果將所述肢體動(dòng)作轉(zhuǎn)換為交互指令。