[發(fā)明專利]基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201710091912.8
• 申請日: 2017-02-21
• 公開（公告）號: CN106887170B
• 公開（公告）日: 2019-12-20
• 發(fā)明（設(shè)計）人: 許達(dá)文;戴雨霖;王勉
• 申請（專利權(quán)）人: 戴雨霖;王勉;許達(dá)文
• 主分類號: G09B9/00
• 分類號: G09B9/00;G09B5/06;G07B15/00;G06K9/00
• 代理公司: 11512 北京迎碩知識產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 呂良;張群峰

本發(fā)明公開了一種虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫，其中：顯示模塊包括虛擬現(xiàn)實顯示模塊、聲音播放模塊和監(jiān)控模塊；設(shè)置模塊用于設(shè)置訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和訓(xùn)練階段；檢測模塊包括位置檢測模塊、手勢檢測模塊和觸發(fā)檢測模塊，其中位置檢測模塊用于檢測受訓(xùn)者的移動，手勢檢測模塊用于獲得受訓(xùn)者的手部信息，觸發(fā)檢測模塊用于探測場景中的物品是否進(jìn)入預(yù)定的區(qū)域；數(shù)據(jù)庫包括場景模型庫、物品模型庫、人物模型庫、運(yùn)動軌跡庫、動畫及動作庫、聲音庫、獎勵效果庫和訓(xùn)練信息庫；控制模塊用于控制整個訓(xùn)練流程、調(diào)用其余模塊的信息以及控制其余模塊。

技術(shù)領(lǐng)域

本發(fā)明涉及虛擬現(xiàn)實系統(tǒng)，具體來講涉及基于虛擬現(xiàn)實和手勢檢測技術(shù)的乘坐公交車技能訓(xùn)練系統(tǒng)。

背景技術(shù)

近年來隨著虛擬現(xiàn)實技術(shù)的發(fā)展，為人們提供了豐富、安全且接近真實生活的體驗，在游戲中受到廣泛應(yīng)用。本發(fā)明基于虛擬現(xiàn)實技術(shù)，結(jié)合手勢檢測技術(shù)，提供了一個模擬乘坐公交車的訓(xùn)練系統(tǒng)，為需要接受該項技能訓(xùn)練的人群，尤其是低齡兒童、自閉癥和智障人士等，提供一個安全可靠的訓(xùn)練環(huán)境。系統(tǒng)通過虛擬現(xiàn)實技術(shù)提供乘車任務(wù)下達(dá)、排隊上車、買票、找座位或抓扶手、下車、排隊集合的場景，以聲音及視覺刺激和引導(dǎo)受訓(xùn)者的行為。受訓(xùn)者的動作和移動通過系統(tǒng)映射成在虛擬世界中主角的行為，控制主角完成乘坐公交車的任務(wù)，完成任務(wù)后受訓(xùn)者可獲得一些虛擬獎勵，激發(fā)其學(xué)習(xí)動力進(jìn)一步學(xué)習(xí)，在逐步的學(xué)習(xí)過程中，系統(tǒng)逐漸提升訓(xùn)練難度，受訓(xùn)者經(jīng)過不斷訓(xùn)練最終學(xué)會該技能。系統(tǒng)會根據(jù)訓(xùn)練中受訓(xùn)者的表現(xiàn)，自動調(diào)節(jié)訓(xùn)練難度、次數(shù)、階段等，教師或訓(xùn)練員也可以通過設(shè)置模塊設(shè)置這些信息，達(dá)到個性化教學(xué)目的。

發(fā)明內(nèi)容

本發(fā)明的目的是：提供一個基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，系統(tǒng)包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫。顯示模塊包括虛擬現(xiàn)實模塊、聲音播放模塊和監(jiān)控模塊。教師或訓(xùn)練員通過設(shè)置模塊確定受訓(xùn)者需要接受的訓(xùn)練內(nèi)容，當(dāng)開始訓(xùn)練后，控制模塊根據(jù)設(shè)置模塊輸入的信息，從數(shù)據(jù)庫中調(diào)取相應(yīng)的場景、人物、聲音、動畫等，通過虛擬現(xiàn)實模塊將場景視圖顯示給受訓(xùn)者，通過聲音播放模塊播放相應(yīng)聲音，以場景和聲音共同引導(dǎo)受訓(xùn)者，同時檢測模塊實時檢測受訓(xùn)者的位置和手勢，控制場景中主角的行動，當(dāng)檢測模塊檢測到受訓(xùn)者完成整個任務(wù)或一個子任務(wù)時，控制模塊調(diào)取數(shù)據(jù)庫中的獎勵效果，通過顯示模塊播放相應(yīng)獎勵，整個過程中，教師或訓(xùn)練員可以通過監(jiān)控模塊監(jiān)控受訓(xùn)者在場景中的視野和完成任務(wù)情況，并且根據(jù)受訓(xùn)者的能力，通過設(shè)置模塊調(diào)節(jié)以后的任務(wù)，如果教師或訓(xùn)練員未進(jìn)行設(shè)置，則系統(tǒng)會自動根據(jù)受訓(xùn)者能力指派任務(wù)。

本發(fā)明公開了一種基于虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫。控制模塊在硬件上是一臺主機(jī)。顯示模塊包括虛擬現(xiàn)實模塊、聲音播放模塊和監(jiān)控模塊，在硬件上，虛擬現(xiàn)實顯示模塊使用虛擬現(xiàn)實頭戴顯示器，聲音播放模塊使用耳機(jī)，監(jiān)控模塊是一個普通顯示器。設(shè)置模塊在硬件上由計算機(jī)外設(shè)組成，包括鍵盤、鼠標(biāo)和顯示器(與監(jiān)控模塊共用一個顯示器)，教師或訓(xùn)練員通過鼠標(biāo)和鍵盤輸入實現(xiàn)對訓(xùn)練任務(wù)的設(shè)置。檢測模塊包括位置檢測模塊、手勢檢測模塊和觸發(fā)檢測模塊，在硬件上，位置檢測模塊即虛擬現(xiàn)實頭戴顯示器自身帶有的位置追蹤傳感器，手勢檢測模塊使用手部動作采集設(shè)備，觸發(fā)檢測模塊包含在軟件環(huán)境中，在場景的不同的位置分別有不同的觸發(fā)器。數(shù)據(jù)庫包括場景模型庫、物品模型庫、人物模型庫、運(yùn)動軌跡庫、動畫及動作庫、聲音庫、獎勵效果庫和訓(xùn)練信息庫，每個庫用于存放相應(yīng)數(shù)據(jù)。

為實現(xiàn)本發(fā)明之目的，采用以下技術(shù)方案予以實現(xiàn)：

一種虛擬現(xiàn)實和手勢檢測的乘坐公交車訓(xùn)練系統(tǒng)，包括控制模塊、顯示模塊、設(shè)置模塊、檢測模塊和數(shù)據(jù)庫，其中：

顯示模塊包括虛擬現(xiàn)實顯示模塊、聲音播放模塊和監(jiān)控模塊；

設(shè)置模塊用于設(shè)置訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎勵效果和訓(xùn)練階段；