[發(fā)明專利]一種面向AR的導(dǎo)航式交互范式系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201910660335.9
• 申請(qǐng)日: 2019-07-22
• 公開（公告）號(hào): CN110554774B
• 公開（公告）日: 2022-11-04
• 發(fā)明（設(shè)計(jì)）人: 馮志全;肖夢(mèng)婷
• 申請(qǐng)（專利權(quán)）人: 濟(jì)南大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00;G09B9/00
• 代理公司: 濟(jì)南誠(chéng)智商標(biāo)專利事務(wù)所有限公司 37105
• 代理人: 侯德玉

本發(fā)明提出了一種面向AR的導(dǎo)航式交互范式系統(tǒng)，該系統(tǒng)包括輸入與感知模塊、融合模塊以及應(yīng)用表達(dá)模塊；輸入與感知模塊通過kinect獲取手部骨骼深度信息，得到手勢(shì)深度圖，完成手勢(shì)識(shí)別；通過語(yǔ)音關(guān)鍵詞識(shí)別和提取，對(duì)實(shí)驗(yàn)關(guān)鍵詞分類，通過相似度計(jì)算得到相似度概率，完成語(yǔ)音識(shí)別；融合模塊根據(jù)手勢(shì)識(shí)別、語(yǔ)音識(shí)別以及力反饋表達(dá)，通過計(jì)算不同模態(tài)下不同狀態(tài)的信號(hào)感知對(duì)用戶意圖進(jìn)行分類，確定多模態(tài)意圖，并且設(shè)置意圖專家知識(shí)庫(kù)；應(yīng)用表達(dá)模塊對(duì)虛擬化學(xué)實(shí)驗(yàn)進(jìn)行語(yǔ)音導(dǎo)航，視覺呈現(xiàn)，以及通過進(jìn)行感知力反饋表達(dá)。本發(fā)明采用自然交互技術(shù)融合手勢(shì)和語(yǔ)音多模態(tài)，并探索一種自然交互模式，降低用戶負(fù)荷，帶來(lái)不同的用戶體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明屬于實(shí)驗(yàn)交互的技術(shù)領(lǐng)域，特別涉及一種面向AR的導(dǎo)航式交互范式系統(tǒng)。

背景技術(shù)

現(xiàn)在的中學(xué)化學(xué)中，許多化學(xué)實(shí)驗(yàn)存在爆炸、腐蝕等危險(xiǎn)性實(shí)驗(yàn)現(xiàn)象，導(dǎo)致學(xué)生無(wú)法操作實(shí)驗(yàn)，在有氣體產(chǎn)生的實(shí)驗(yàn)中也不易于學(xué)生觀察，中學(xué)生僅通過課本或者視頻觀察實(shí)驗(yàn)現(xiàn)象，因此需要新的實(shí)驗(yàn)方法，即達(dá)到中學(xué)化學(xué)實(shí)驗(yàn)大綱要求，又解決提出的問題。使得學(xué)生可以隨時(shí)操作實(shí)驗(yàn)，節(jié)約了化學(xué)試劑資源，讓學(xué)生真正自己去探索、去發(fā)現(xiàn)實(shí)驗(yàn)的真理和機(jī)理。

隨著人機(jī)交互技術(shù)的發(fā)展，增強(qiáng)現(xiàn)實(shí)作為一種提升現(xiàn)實(shí)和虛擬之間交互能力的技術(shù)，在應(yīng)用領(lǐng)域越來(lái)越成為熱點(diǎn)研究。并且手勢(shì)交互也越來(lái)越成為人機(jī)交互中重要的一種交互形式，將手勢(shì)交互技術(shù)與增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合，是智能時(shí)代的必要需求體現(xiàn)。手勢(shì)交互技術(shù)已經(jīng)普遍運(yùn)用于各個(gè)領(lǐng)域行業(yè)，其中就包括教育教學(xué)領(lǐng)域。據(jù)研究表明，傳統(tǒng)的教育教學(xué)逐漸滿足不了新時(shí)期對(duì)教學(xué)效果的要求和目標(biāo)，傳統(tǒng)的化學(xué)實(shí)驗(yàn)存在著爆炸、腐蝕等危險(xiǎn)性現(xiàn)象，所以越來(lái)越多的教育教學(xué)側(cè)重新型虛擬實(shí)驗(yàn)教學(xué)，其在一定程度上提高了學(xué)生的思維能力增強(qiáng)了對(duì)虛擬空間的想象能力，但大多數(shù)僅借助單一虛擬場(chǎng)景中的模型完成實(shí)驗(yàn)操作，缺乏現(xiàn)實(shí)環(huán)境的真實(shí)感，造成學(xué)生無(wú)法融入到虛擬實(shí)驗(yàn)教學(xué)中。面對(duì)目前的增強(qiáng)現(xiàn)實(shí)技術(shù)，大多是利用有標(biāo)簽的卡片識(shí)別完成對(duì)虛擬模型的三維重現(xiàn)，少數(shù)是基于數(shù)據(jù)手套等穿戴設(shè)備或者利用手勢(shì)識(shí)別傳感器來(lái)完成真實(shí)世界和虛擬場(chǎng)景的融合，但都無(wú)法完全沉浸在虛實(shí)交互的實(shí)驗(yàn)中。所以，利用裸手交互越來(lái)越成為增強(qiáng)現(xiàn)實(shí)領(lǐng)域中重要的形式，裸手手勢(shì)交互技術(shù)和增強(qiáng)現(xiàn)實(shí)技術(shù)結(jié)合尤為重要。因此，在增強(qiáng)現(xiàn)實(shí)技術(shù)中如何進(jìn)行裸手手勢(shì)識(shí)別，是應(yīng)用的重要問題。

發(fā)明內(nèi)容

本發(fā)明提出了一種面向AR的導(dǎo)航式交互范式系統(tǒng)，采用手勢(shì)識(shí)別和語(yǔ)音識(shí)別的信息輸入，通過信息融合，在應(yīng)用表達(dá)模塊根據(jù)融合模塊的表達(dá)對(duì)虛擬化學(xué)實(shí)驗(yàn)進(jìn)行語(yǔ)音導(dǎo)航，視覺呈現(xiàn)，以及通過在手指上設(shè)置的力反饋部件進(jìn)行感知力反饋表達(dá)。

為了實(shí)現(xiàn)上述目的，本發(fā)明提出一種面向AR的導(dǎo)航式交互范式系統(tǒng)，包括輸入與感知模塊、融合模塊以及應(yīng)用表達(dá)模塊；

所述輸入與感知模塊通過kinect圖像采集設(shè)備獲取手部骨骼深度信息，得到手勢(shì)深度圖，并在Unity 3D中借助所述手勢(shì)深度圖完成手勢(shì)識(shí)別，并根據(jù)坐標(biāo)轉(zhuǎn)換實(shí)現(xiàn)手勢(shì)位置與虛擬模型的實(shí)時(shí)交互；通過SDK進(jìn)行語(yǔ)音關(guān)鍵詞識(shí)別，通過語(yǔ)音的輸入，對(duì)關(guān)鍵詞提取，以及對(duì)實(shí)驗(yàn)所需的關(guān)鍵詞分類，通過相似度計(jì)算得到相似度概率，構(gòu)成完整語(yǔ)音命令，完成語(yǔ)音識(shí)別；

所述融合模塊根據(jù)輸入感知模塊獲取的手勢(shì)識(shí)別、語(yǔ)音識(shí)別以及力反饋表達(dá)，通過計(jì)算不同模態(tài)下不同狀態(tài)的信號(hào)感知對(duì)用戶意圖進(jìn)行分類；通過判斷用戶意圖和不同狀態(tài)之間的關(guān)系，確定多模態(tài)意圖；并且設(shè)置意圖專家知識(shí)庫(kù)，所述意圖專家知識(shí)庫(kù)中設(shè)置用戶意圖與用戶行為之間的充分必要條件；

所述應(yīng)用表達(dá)模塊根據(jù)融合模塊的表達(dá)對(duì)虛擬化學(xué)實(shí)驗(yàn)進(jìn)行語(yǔ)音導(dǎo)航，視覺呈現(xiàn)，以及通過在手指上設(shè)置的力反饋部件進(jìn)行感知力反饋表達(dá)。

進(jìn)一步的，所述通過kinect圖像采集設(shè)備獲取手部骨骼深度信息得到手勢(shì)深度圖的方法為：

S1：利用kinect圖像采集設(shè)備獲取手部骨骼深度信息，并分割手部區(qū)域，采集手勢(shì)深度圖；