[發明專利]基于VR技術的神經發育障礙交通安全訓練系統及方法

在審

• 申請號: 201910090077.5
• 申請日: 2019-01-30
• 公開（公告）號: CN109658771A
• 公開（公告）日: 2019-04-19
• 發明（設計）人: 杜亞松;翟廣濤;陳靜;祖燕飛;趙曉鑫;孫偉
• 申請（專利權）人: 上海市精神衛生中心（上海市心理咨詢培訓中心）
• 主分類號: G09B9/00
• 分類號: G09B9/00
• 代理公司: 上海容慧專利代理事務所(普通合伙) 31287
• 代理人: 于曉菁

1.一種基于VR技術的神經發育障礙交通安全訓練系統，其特征在于，包括中央控制裝置、頭戴式顯示器(1)、用于操作虛擬場景中特定任務的手握式控制器(3)、用于追蹤目光朝向的內置式眼動追蹤設備(2)、用于播放音頻信息的音頻播放設備(4)、用于識別聲音內容的語音檢測設備、用于檢測使用者動作的人體動作檢測設備(6)及用于神經發育障礙患者的交通安全教育訓練虛擬顯示軟件系統(5)；

所述頭戴式顯示器(1)用于顯示所述交通安全教育訓練虛擬顯示軟件系統(5)生成的VR場景，所述VR場景包括交通場景及特定的任務信號，所述任務信號包括過馬路、觀察紅綠燈、走斑馬線、避免行駛的車輛、觀察交通指示牌、乘坐公交車、乘坐地鐵，所述任務信號出現在VR場景中或者通過所述音頻播放設備(4)進行播放；

所述手握式控制器(3)采集訓練過程中使用者的輸入信息并反饋至中央控制裝置，所述內置式眼動追蹤設備(2)將判斷使用者對虛擬物體的注視方向信息反饋至中央控制裝置，所述語音檢測設備將采集到的使用者的音頻信息反饋至中央控制裝置，所述人體動作檢測設備(6)將檢測到的使用者的動作信息反饋至中央控制裝置，所述中央控制裝置根據反饋的信息判斷所述使用者在交通安全教育訓練中的訓練完成度。

2.根據權利要求1所述的交通安全訓練系統，其特征在于，所述手握式控制器(3)上設有按鍵和觸摸板，以實現人機交互。

3.根據權利要求2所述的交通安全訓練系統，其特征在于，所述音頻播放設備(4)包括揚聲器或耳機。

4.根據權利要求1所述的交通安全訓練系統，其特征在于，所述語音檢測設備通過語音識別算法識別出使用者所表達出語句信息，并且通過自然語言處理算法理解語句信息的含義。

5.根據權利要求1所述的交通安全訓練系統，其特征在于，還包括用于定位使用者頭部和手握式控制器的位置和方向的空間定位設備，所述空間定位設備包括光學定位裝置和/或設置在頭戴式顯示器和手握式控制器內的角速度傳感器；

所述空間定位設備將采集到的使用者的空間位置信息反饋至中央控制裝置，所述中央控制裝置根據反饋的信息判斷所述使用者在交通安全教育訓練中的訓練完成度。

6.根據權利要求5所述的交通安全訓練系統，其特征在于，所述人體動作檢測設備(6)為紅外相機或可見光相機。

7.一種基于權利要求1所述的交通安全訓練系統的訓練方法，其特征在于，包括：

根據待訓練使用者的初始認知程度或上一次訓練的認知程度，匹配相應等級的交通安全教育訓練項目；

將相應等級的VR場景顯示在所述頭戴式顯示器上；

通過音頻播放設備發出所述訓練項目中的任務信號；

獲取使用者在訓練過程中反饋的空間位置、對虛擬物體的注視方向、在手握式控制器上的輸入信息，和/或使用者的語音信息；

根據反饋的信息判斷所述使用者的訓練完成度，若訓練完成度高于預設上限閾值，則在下一次訓練時匹配提升相應等級的訓練項目；若所述訓練完成度連續兩次低于預設下限閾值，則在下一次訓練時匹配降低相應等級的訓練項目；否則在下一次訓練時匹配維持相應等級的訓練項目。

8.根據權利要求7所述的交通安全訓練系統，其特征在于，每一個訓練項目包括多個同難度等級的訓練單元，每個訓練單元均包含訓練階段和測試階段，所述訓練階段會發布訓練的訓練任務并對使用者進行反復訓練，同時記錄使用者的反饋信息，所述中央控制裝置通過所述反饋信息判斷使用者的訓練情況，以決定使用者是否能夠進入下一個訓練單元的訓練階段；

當中央控制裝置判斷出所有訓練單元的訓練階段都通過后，進入測試階段，測試隨機呈現該訓練階段學習的任務，當使用者成功完成所有測試任務，系統進入下一個提升難度等級的訓練項目。