[發明專利]基于虛擬現實和手勢檢測的乘坐公交車訓練系統

有效

• 申請號: 201710091912.8
• 申請日: 2017-02-21
• 公開（公告）號: CN106887170B
• 公開（公告）日: 2019-12-20
• 發明（設計）人: 許達文;戴雨霖;王勉
• 申請（專利權）人: 戴雨霖;王勉;許達文
• 主分類號: G09B9/00
• 分類號: G09B9/00;G09B5/06;G07B15/00;G06K9/00
• 代理公司: 11512 北京迎碩知識產權代理事務所(普通合伙)
• 代理人: 呂良;張群峰

1.一種虛擬現實和手勢檢測的乘坐公交車訓練系統，針對需要接受乘坐公交車訓練的自閉癥和智障人士，所述訓練系統包括控制模塊、顯示模塊、設置模塊、檢測模塊和數據庫，其特征在于：

顯示模塊包括虛擬現實顯示模塊、聲音播放模塊和監控模塊；

設置模塊用于設置訓練任務、任務的難度、噪音水平、獎勵效果和訓練階段；

檢測模塊包括位置檢測模塊、手勢檢測模塊和觸發檢測模塊，其中位置檢測模塊用于檢測受訓者的移動，手勢檢測模塊用于獲得受訓者的手部信息，觸發檢測模塊用于探測場景中的物品是否進入預定的區域；

數據庫包括場景模型庫、物品模型庫、人物模型庫、運動軌跡庫、動畫及動作庫、聲音庫、獎勵效果庫和訓練信息庫；

控制模塊用于控制整個訓練流程；

乘坐公交車訓練共分為六個訓練階段的子任務，每個階段針對不同的內容做出相應的訓練，可以選擇整體訓練或對每個階段分步訓練，這六個階段分別是：第一階段、乘車任務下達；第二階段、排隊上車；第三階段、買票；第四階段、找座位或抓扶手；第五階段、下車；第六階段排隊集合，其中第一階段不單獨出現；教師或訓練員可以通過設置模塊選擇進入整體訓練或者分步訓練，在乘車類型這一訓練變量選擇了老師帶學生出游以外的情況下，則沒有第六階段；每一訓練階段啟動后，控制模塊會加載相應的模型：首先控制模塊根據設置模塊中的難度、噪音水平、和訓練階段，從數據庫的場景模型庫中調用相應的場景，再從物品模型庫和人物模型庫中調用相應的物品和人物模型，安置在事先設定的位置，并通過虛擬現實顯示模塊進行顯示，然后通過調用動畫動作庫和運動軌跡庫，控制物品和人物按事先設定好的軌跡和動作運動，之后通過獎勵效果這一信息從獎勵效果庫和聲音庫中加載獎勵需要用到的動畫效果和聲音，以便需要播放獎勵時可以隨時調用；

所述的訓練系統，其中：如果公交車內有一個空位，在簡單難度下，控制模塊調用數據庫中的物品、聲音，通過語音播放模塊語音提示受訓者要坐到該位置，并在位置上方顯示提示信息；在中等難度下僅進行語言提示，困難難度下不提示，如果公交車內有多個空位，則屬于泛化難度，不進行提示，如果公交車內沒有空位，在簡單難度下，控制模塊調用數據庫中的物品、聲音，通過語音播放模塊語音提示受訓者要抓住某根扶手，并將該扶手發光顯示，在中等難度下僅進行語言提示，困難難度下不提示，當位置檢測模塊檢測到受訓者移動到空座位前方，并且向下移動，則判斷受訓者正確坐在了位置上，并反饋給控制模塊找座位正確的信息，如果檢測到受訓者坐在有人坐的位置上，則控制模塊調用數據庫中的人物、聲音信息，通過顯示模塊播放一個不能坐在他人身上的提示，如果多次檢測到受訓者坐在有人坐的位置上，則算任務失敗，顯示模塊顯示坐在他人身上字樣，系統記錄本次訓練信息并退出訓練；

設置模塊用于設置任務的難度、噪音水平、獎勵效果和階段，并將設置的這些信息傳輸給控制模塊，控制模塊根據這些信息的不同展現不同的訓練，難度分為簡單、中等、困難、泛化四個級別，簡單難度即對所需要做的動作進行具體的語音以及位置提示，中等難度即對所需要完成的動作進行語音提示，困難級別的難度即不對動作進行任何提示，泛化級別下，允許教師或訓練員改變訓練變量：乘車類型及故事情節、公交車類型、公交車顏色、座位類型、空位數、公交路線、出發地、目的地、上車人數、同行人和買票位置，如果教師或訓練員未進行任何設置，則第一次訓練時這些訓練變量都表現為其初始值，在此后訓練系統自動調整訓練變量的至以適應受訓者的能力，如果教師或訓練員選擇選擇簡單、中等或困難的難度，則訓練變量都表現為初始值，訓練變量的初始值為：老師帶學生出游情節，只乘坐一輛固定形狀、顏色和路數的公交車，公交車的路線和車上的物品固定，上車人物固定，只有一個空位或沒有空位，上車站點和目的地只相距一至二站；背景噪音水平有四個可選的級別，分別是無噪聲、30％噪聲、60％噪聲和正常噪聲；獎勵效果共有十幾種，可以多選，也可以選擇無獎勵；

訓練的第三、四階段啟動后：控制模塊控制手勢檢測模塊啟動，根據采集到的圖像識別出當前手勢檢測模塊在可靠檢測范圍內出現的手掌坐標、方向和指尖位置的信息，并傳輸給控制模塊，控制模塊決定使用多少雙手的數據，然后控制模塊調用人物模型庫中預先設置的手的模型，并將獲取的手的信息與手的模型加以關聯，并通過虛擬現實顯示模塊顯示手的模型，當受訓者的手勢發生變化，顯示的手部模型相應發生變化，從而實現手勢檢測；

在第五訓練階段：控制模塊根據公交車路線、出發地點、目的地這三個訓練變量，調取運動軌跡庫中相應的公交車移動軌跡，控制公交車進行相應移動，并在公交車路線包含的站點進行停靠，每次停靠，控制模塊隨機抽取角色，通過運動軌跡庫和動畫動作庫控制所述角色走下車，控制語音播放模塊播放一次當前的站名。