[發明專利]一種基于多模態腦機交互技術的虛擬沙盤交互控制系統

有效

• 申請號: 201810541927.4
• 申請日: 2018-05-30
• 公開（公告）號: CN108829245B
• 公開（公告）日: 2019-08-23
• 發明（設計）人: 鄧寶松;印二威;曹璐;黃昊;鹿迎;李靖;閆野
• 申請（專利權）人: 中國人民解放軍軍事科學院國防科技創新研究院
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06T19/00;G06T19/20
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

1.一種基于多模態腦機交互技術的虛擬沙盤交互控制系統，其特征在于，包括腦電模塊、肌電模塊、眼動模塊、控制模塊和顯示模塊，所述控制模塊分別連接腦電模塊、肌電模塊、眼動模塊、顯示模塊；

所述控制模塊包括坐標換算單元、控制邏輯解析單元和視覺刺激編碼單元；

所述坐標換算單元將用戶眼動相對位置換算到虛擬現實顯示器上的特定位置，并同時將坐標位置信息發送至控制邏輯解析單元和顯示模塊；

所述控制邏輯解析單元判斷當前用戶眼動坐標是否位于虛擬現實顯示器中的菜單功能鍵位置上，如果位于某個菜單的位置上則將相應的刺激編號指令發送至視覺刺激編碼單元進行視覺刺激編碼，如果沒有位于某個菜單的位置上則發送至顯示模塊；

所述視覺刺激編碼單元采用正弦信號采樣的方式編碼模擬定頻正弦刺激，并將定頻刺激信號發送至顯示模塊。

2.如權利要求1所示的虛擬沙盤交互控制系統，其特征在于，

所述腦電模塊將用戶注視疊加在虛擬沙盤控制菜單上的視覺刺激時所誘發的腦電特征信號轉化成計算機控制指令；

所述腦電模塊將控制命令發送給控制模塊；

所述肌電模塊將連續控制指令發送至控制模塊；

所述眼動模塊將用戶注視方向坐標發送至控制模塊；

所述控制模塊用于定頻刺激的編碼、用戶眼動坐標換算，以及基于當前系統控制命令解析用戶操控意圖，并將數字沙盤更新內容發送至顯示模塊；

所述顯示模塊顯示虛擬沙盤和用戶視線注視點，并在虛擬沙盤控制菜單上疊加不同頻率編碼的定頻視覺刺激。

3.如權利要求1所示的虛擬沙盤交互控制系統，其特征在于，所述腦電模塊包括腦電信號采集器、第一帶通濾波單元、SSVEP特征提取單元和目標刺激頻率識別單元；

所述腦電信號采集器將用戶注視疊加在虛擬沙盤控制菜單上的定頻視覺刺激時的腦電信號實時記錄下來，通過位于用戶頭部枕區的多個干電極采集腦電信號，并將參考電極分別設置在兩個耳垂上；

所述第一帶通濾波單元將腦電信號進行帶通濾波處理；

所述SSVEP特征提取單元提取一定時間的多通道腦電信號W_x；

所述目標刺激頻率識別單元計算各個刺激頻率所對應的響應值，通過比較響應值大小識別目標刺激頻率。

4.如權利要求3所示的虛擬沙盤交互控制系統，其特征在于，所述第一帶通濾波單元采用8-70赫茲的Chebyshev I型IIR帶通濾波器。

5.如權利要求1所示的虛擬沙盤交互控制系統，其特征在于，所述肌電模塊包括肌電信號采集器、第二帶通濾波單元、肌電特征提取單元、手勢識別單元；

所述肌電信號采集器設置在用戶的小臂肌肉群上方，采用雙極導聯的方式，實時采集人的小臂肌電信號；

肌電信號通過第二帶通濾波單元、肌電特征提取單元和手勢識別單元來識別用戶手勢，所述肌電特征提取單元采用滑動時間窗口方法按一定步長連續截取特定時間長度的肌電信號，并對其進行特征提取。

6.如權利要求5所示的虛擬沙盤交互控制系統，其特征在于，所述第二帶通濾波單元采用8-150赫茲的Chebyshev I型IIR帶通濾波器。

7.如權利要求1所示的虛擬沙盤交互控制系統，其特征在于，所述眼動模塊包括眼動信號采集器、視線校準單元、模型分析單元；

所述眼動信號采集器實時采集用戶的眼球位置信息；

所述視線校準單元通過采集用戶注視特定位置的眼動數據進行校準；

所述模型解析單元采用矩陣法進行ROI圖像識別。

8.如權利要求7所示的虛擬沙盤交互控制系統，其特征在于，所述眼動信號采集器設置在虛擬現實眼鏡中，包括眼動攝像頭和紅外光源。

9.如權利要求1所示的虛擬沙盤交互控制系統，其特征在于，所述顯示模塊包括視線注視點顯示單元、數字沙盤顯示單元和定頻刺激顯示單元；

所述視線注視點顯示單元在接收到坐標換算單元發送的眼動坐標位置呈現視線反饋信息；

所述數字沙盤顯示單元根據控制邏輯解析單元的控制命令更新沙盤顯示信息；

所述定頻刺激顯示單元基于視覺刺激編碼生成視覺刺激，進而誘發SSVEP特征電位。