[發明專利]一種基于腦電和眼動信號的射擊控制系統及控制方法

有效

• 申請號: 202110168442.7
• 申請日: 2021-02-07
• 公開（公告）號: CN112764547B
• 公開（公告）日: 2022-08-16
• 發明（設計）人: 于揚;劉陽;郭鴻武;胡德文;沈輝;楊東旭
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06N3/08;G06N3/04
• 代理公司: 長沙市護航專利代理事務所(特殊普通合伙) 43220
• 代理人: 莫曉齊

1.一種基于腦電和眼動信號的射擊控制系統，其特征在于，包括顯示屏、眼動信號提取裝置、腦電信號提取裝置和處理器，其中：

所述顯示屏與處理器相連，用于顯示運動目標、瞄準框、武器發射情況和射擊結果；

所述眼動信號提取裝置與處理器相連，用于提取操作人員的眼動信號，送至處理器，使瞄準框依據眼動信號產生相應移動；

所述腦電信號提取裝置與處理器相連，用于提取操作人員的腦電信號，并將腦電信號送至處理器；

所述處理器識別并處理采集到的眼動信號和腦電信號，并產生瞄準框移動和發射信號；

所述眼動信號提取裝置為眼動儀，所述眼動儀通過攝入從人眼角膜和瞳孔反射的紅外線連續地記錄眼動信號，并從中提取操作人員注視點，注視時間、瞳孔大小的數據，記錄、分析并跟蹤操作人員的視線；

所述基于腦電和眼動信號的射擊控制系統，具體流程為：開啟基于腦電和眼動信號的射擊控制系統，操作人員坐于顯示屏的屏幕前，眼動信號提取裝置進行標定；基于腦電和眼動信號的射擊控制系統進入工作狀態后，顯示屏的窗口出現用于模擬打擊目標的動態移動的圖標，通過YOLO算法自動框選出打擊目標作為瞄準框，且眼動信號提取裝置追蹤眼動信號，并以小圓圈的形式展現在顯示屏上；操作人員注視打擊目標，瞄準框顏色發生改變，并出現代表發射與取消的兩個按鍵，兩個按鍵以不同的頻率閃爍；操作人員注視其中之一按鍵，其大腦產生與該按鍵相應頻率的腦電信號，經放大濾波后，處理器對該腦電信號進行典型相關性分析，確定操作人員的意圖，以判斷是否完成射擊操作；武器發射情況和射擊結果在顯示屏上呈現出來；

所述操作人員注視打擊目標，瞄準框顏色發生改變，并出現代表發射與取消的兩個按鍵，兩個按鍵以不同的頻率閃爍，包括：

操作人員注視打擊目標，當代表操作人員注視點的小圓圈在代表某個打擊目標的瞄準框內停留第一預設時間之后，該瞄準框顏色發生改變，同時屏幕上出現代表發射與取消的兩個按鍵，兩個按鍵分別以不同的頻率閃爍。

2.根據權利要求1所述的基于腦電和眼動信號的射擊控制系統，其特征在于，所述腦電信號提取裝置通過基于穩態視覺誘發電位的腦機接口技術采集操作人員的腦電信號。

3.根據權利要求1所述的基于腦電和眼動信號的射擊控制系統，其特征在于，所述基于腦電和眼動信號的射擊控制系統還包括信號放大模塊及與其串聯的濾波模塊，所述信號放大模塊與腦電信號提取裝置相連，所述濾波模塊與處理器相連。

4.一種基于腦電和眼動信號的射擊控制方法，其特征在于，采用權利要求1至3中任一項所述的基于腦電和眼動信號的射擊控制系統進行射擊控制，包括以下步驟：

S100、開啟基于腦電和眼動信號的射擊控制系統，操作人員坐于顯示屏的屏幕前，眼動信號提取裝置進行標定；

S200、基于腦電和眼動信號的射擊控制系統進入工作狀態后，顯示屏的窗口出現用于模擬打擊目標的動態移動的圖標，通過YOLO算法自動框選出打擊目標作為瞄準框，且眼動信號提取裝置追蹤眼動信號，并以小圓圈的形式展現在顯示屏上；

S300、操作人員注視打擊目標，瞄準框顏色發生改變，并出現代表發射與取消的兩個按鍵，兩個按鍵以不同的頻率閃爍；

S400、操作人員注視其中之一按鍵，其大腦產生與該按鍵相應頻率的腦電信號，經放大濾波后，處理器對該腦電信號進行典型相關性分析，確定操作人員的意圖，以判斷是否完成射擊操作；

S500、武器發射情況和射擊結果在顯示屏上呈現出來。