[發(fā)明專利]基于虛擬現(xiàn)實(shí)和手勢(shì)檢測(cè)的乘坐公交車訓(xùn)練系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710091912.8
• 申請(qǐng)日: 2017-02-21
• 公開（公告）號(hào): CN106887170B
• 公開（公告）日: 2019-12-20
• 發(fā)明（設(shè)計(jì)）人: 許達(dá)文;戴雨霖;王勉
• 申請(qǐng)（專利權(quán)）人: 戴雨霖;王勉;許達(dá)文
• 主分類號(hào): G09B9/00
• 分類號(hào): G09B9/00;G09B5/06;G07B15/00;G06K9/00
• 代理公司: 11512 北京迎碩知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙)
• 代理人: 呂良;張群峰

1.一種虛擬現(xiàn)實(shí)和手勢(shì)檢測(cè)的乘坐公交車訓(xùn)練系統(tǒng)，針對(duì)需要接受乘坐公交車訓(xùn)練的自閉癥和智障人士，所述訓(xùn)練系統(tǒng)包括控制模塊、顯示模塊、設(shè)置模塊、檢測(cè)模塊和數(shù)據(jù)庫(kù)，其特征在于：

顯示模塊包括虛擬現(xiàn)實(shí)顯示模塊、聲音播放模塊和監(jiān)控模塊；

設(shè)置模塊用于設(shè)置訓(xùn)練任務(wù)、任務(wù)的難度、噪音水平、獎(jiǎng)勵(lì)效果和訓(xùn)練階段；

檢測(cè)模塊包括位置檢測(cè)模塊、手勢(shì)檢測(cè)模塊和觸發(fā)檢測(cè)模塊，其中位置檢測(cè)模塊用于檢測(cè)受訓(xùn)者的移動(dòng)，手勢(shì)檢測(cè)模塊用于獲得受訓(xùn)者的手部信息，觸發(fā)檢測(cè)模塊用于探測(cè)場(chǎng)景中的物品是否進(jìn)入預(yù)定的區(qū)域；

數(shù)據(jù)庫(kù)包括場(chǎng)景模型庫(kù)、物品模型庫(kù)、人物模型庫(kù)、運(yùn)動(dòng)軌跡庫(kù)、動(dòng)畫及動(dòng)作庫(kù)、聲音庫(kù)、獎(jiǎng)勵(lì)效果庫(kù)和訓(xùn)練信息庫(kù)；

控制模塊用于控制整個(gè)訓(xùn)練流程；

乘坐公交車訓(xùn)練共分為六個(gè)訓(xùn)練階段的子任務(wù)，每個(gè)階段針對(duì)不同的內(nèi)容做出相應(yīng)的訓(xùn)練，可以選擇整體訓(xùn)練或?qū)γ總€(gè)階段分步訓(xùn)練，這六個(gè)階段分別是：第一階段、乘車任務(wù)下達(dá)；第二階段、排隊(duì)上車；第三階段、買票；第四階段、找座位或抓扶手；第五階段、下車；第六階段排隊(duì)集合，其中第一階段不單獨(dú)出現(xiàn)；教師或訓(xùn)練員可以通過設(shè)置模塊選擇進(jìn)入整體訓(xùn)練或者分步訓(xùn)練，在乘車類型這一訓(xùn)練變量選擇了老師帶學(xué)生出游以外的情況下，則沒有第六階段；每一訓(xùn)練階段啟動(dòng)后，控制模塊會(huì)加載相應(yīng)的模型：首先控制模塊根據(jù)設(shè)置模塊中的難度、噪音水平、和訓(xùn)練階段，從數(shù)據(jù)庫(kù)的場(chǎng)景模型庫(kù)中調(diào)用相應(yīng)的場(chǎng)景，再?gòu)奈锲纺Ｐ蛶?kù)和人物模型庫(kù)中調(diào)用相應(yīng)的物品和人物模型，安置在事先設(shè)定的位置，并通過虛擬現(xiàn)實(shí)顯示模塊進(jìn)行顯示，然后通過調(diào)用動(dòng)畫動(dòng)作庫(kù)和運(yùn)動(dòng)軌跡庫(kù)，控制物品和人物按事先設(shè)定好的軌跡和動(dòng)作運(yùn)動(dòng)，之后通過獎(jiǎng)勵(lì)效果這一信息從獎(jiǎng)勵(lì)效果庫(kù)和聲音庫(kù)中加載獎(jiǎng)勵(lì)需要用到的動(dòng)畫效果和聲音，以便需要播放獎(jiǎng)勵(lì)時(shí)可以隨時(shí)調(diào)用；

所述的訓(xùn)練系統(tǒng)，其中：如果公交車內(nèi)有一個(gè)空位，在簡(jiǎn)單難度下，控制模塊調(diào)用數(shù)據(jù)庫(kù)中的物品、聲音，通過語(yǔ)音播放模塊語(yǔ)音提示受訓(xùn)者要坐到該位置，并在位置上方顯示提示信息；在中等難度下僅進(jìn)行語(yǔ)言提示，困難難度下不提示，如果公交車內(nèi)有多個(gè)空位，則屬于泛化難度，不進(jìn)行提示，如果公交車內(nèi)沒有空位，在簡(jiǎn)單難度下，控制模塊調(diào)用數(shù)據(jù)庫(kù)中的物品、聲音，通過語(yǔ)音播放模塊語(yǔ)音提示受訓(xùn)者要抓住某根扶手，并將該扶手發(fā)光顯示，在中等難度下僅進(jìn)行語(yǔ)言提示，困難難度下不提示，當(dāng)位置檢測(cè)模塊檢測(cè)到受訓(xùn)者移動(dòng)到空座位前方，并且向下移動(dòng)，則判斷受訓(xùn)者正確坐在了位置上，并反饋給控制模塊找座位正確的信息，如果檢測(cè)到受訓(xùn)者坐在有人坐的位置上，則控制模塊調(diào)用數(shù)據(jù)庫(kù)中的人物、聲音信息，通過顯示模塊播放一個(gè)不能坐在他人身上的提示，如果多次檢測(cè)到受訓(xùn)者坐在有人坐的位置上，則算任務(wù)失敗，顯示模塊顯示坐在他人身上字樣，系統(tǒng)記錄本次訓(xùn)練信息并退出訓(xùn)練；

設(shè)置模塊用于設(shè)置任務(wù)的難度、噪音水平、獎(jiǎng)勵(lì)效果和階段，并將設(shè)置的這些信息傳輸給控制模塊，控制模塊根據(jù)這些信息的不同展現(xiàn)不同的訓(xùn)練，難度分為簡(jiǎn)單、中等、困難、泛化四個(gè)級(jí)別，簡(jiǎn)單難度即對(duì)所需要做的動(dòng)作進(jìn)行具體的語(yǔ)音以及位置提示，中等難度即對(duì)所需要完成的動(dòng)作進(jìn)行語(yǔ)音提示，困難級(jí)別的難度即不對(duì)動(dòng)作進(jìn)行任何提示，泛化級(jí)別下，允許教師或訓(xùn)練員改變訓(xùn)練變量：乘車類型及故事情節(jié)、公交車類型、公交車顏色、座位類型、空位數(shù)、公交路線、出發(fā)地、目的地、上車人數(shù)、同行人和買票位置，如果教師或訓(xùn)練員未進(jìn)行任何設(shè)置，則第一次訓(xùn)練時(shí)這些訓(xùn)練變量都表現(xiàn)為其初始值，在此后訓(xùn)練系統(tǒng)自動(dòng)調(diào)整訓(xùn)練變量的至以適應(yīng)受訓(xùn)者的能力，如果教師或訓(xùn)練員選擇選擇簡(jiǎn)單、中等或困難的難度，則訓(xùn)練變量都表現(xiàn)為初始值，訓(xùn)練變量的初始值為：老師帶學(xué)生出游情節(jié)，只乘坐一輛固定形狀、顏色和路數(shù)的公交車，公交車的路線和車上的物品固定，上車人物固定，只有一個(gè)空位或沒有空位，上車站點(diǎn)和目的地只相距一至二站；背景噪音水平有四個(gè)可選的級(jí)別，分別是無(wú)噪聲、30％噪聲、60％噪聲和正常噪聲；獎(jiǎng)勵(lì)效果共有十幾種，可以多選，也可以選擇無(wú)獎(jiǎng)勵(lì)；

訓(xùn)練的第三、四階段啟動(dòng)后：控制模塊控制手勢(shì)檢測(cè)模塊啟動(dòng)，根據(jù)采集到的圖像識(shí)別出當(dāng)前手勢(shì)檢測(cè)模塊在可靠檢測(cè)范圍內(nèi)出現(xiàn)的手掌坐標(biāo)、方向和指尖位置的信息，并傳輸給控制模塊，控制模塊決定使用多少雙手的數(shù)據(jù)，然后控制模塊調(diào)用人物模型庫(kù)中預(yù)先設(shè)置的手的模型，并將獲取的手的信息與手的模型加以關(guān)聯(lián)，并通過虛擬現(xiàn)實(shí)顯示模塊顯示手的模型，當(dāng)受訓(xùn)者的手勢(shì)發(fā)生變化，顯示的手部模型相應(yīng)發(fā)生變化，從而實(shí)現(xiàn)手勢(shì)檢測(cè)；

在第五訓(xùn)練階段：控制模塊根據(jù)公交車路線、出發(fā)地點(diǎn)、目的地這三個(gè)訓(xùn)練變量，調(diào)取運(yùn)動(dòng)軌跡庫(kù)中相應(yīng)的公交車移動(dòng)軌跡，控制公交車進(jìn)行相應(yīng)移動(dòng)，并在公交車路線包含的站點(diǎn)進(jìn)行停靠，每次停靠，控制模塊隨機(jī)抽取角色，通過運(yùn)動(dòng)軌跡庫(kù)和動(dòng)畫動(dòng)作庫(kù)控制所述角色走下車，控制語(yǔ)音播放模塊播放一次當(dāng)前的站名。