[發明專利]一種人機融合腦控機器人系統

有效

• 申請號: 202010878010.0
• 申請日: 2020-08-27
• 公開（公告）號: CN112008725B
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 閆天翼;劉思宇;王凱;張德雨;陳端端;王欣;邵祎琦;徐自翀;倪傳城;吳景龍
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F3/01
• 分類號: G06F3/01
• 代理公司: 北京東方盛凡知識產權代理事務所(普通合伙) 11562
• 代理人: 張換君

1.一種人機融合腦控機器人系統，其特征在于，包括：

機器人，用于采集環境信息圖像；

所述機器人，包括視頻采集模塊、機器人頭部模塊、機器人手部模塊、機器人手臂模塊、機器人腿部模塊、導航模塊、語音模塊；

所述導航模塊，用于控制所述機器人進行導航運動；

所述語音模塊，用于控制所述機器人輸出語音；

動態刺激標注系統，用于對所述環境信息圖像，進行動態SSVEP標注，得到疊加有SSVEP信息的環境信息；

所述動態刺激標注系統包括：

動態刺激信息獲取模塊，用于獲取所述環境信息；

動態刺激信息追蹤模塊，用于將待標注環境信息輸入到所述動態刺激信息追蹤模塊，得到所述待標注環境信息的物體位置信息；

動態刺激信息標注模塊，根據所述物體位置信息，在所述環境信息上疊加相應頻率的SSVEP信息，并且根據實時的位置信息進行更新；

用戶通過注視疊加有SSVEP的環境信息，誘發出相應頻率的SSVEP信號，在用戶產生相關意圖，并表現為腦電時-頻特征變化后，使用腦電信息采集系統結合TCP傳輸協議將腦電傳輸至腦電分析及意圖分類模塊，腦電分析部分對被試者的腦電時域及頻域特征進行分析，獲取其時頻特征圖以及功率譜密度分布，然后使用多分類器對人類意圖進行準確識別；

腦電信息采集處理系統，包括腦電信息采集系統和腦電信息處理系統，，通過所述腦電信息采集系統獲取待識別腦電信號序列，將所述待識別腦電信號序列輸入到所述腦電信息處理系統，得到所述待識別腦電信號序列的腦電分類信息，根據所述腦電分類信息，生成動作控制指令，所述動作控制指令用于控制機器人運動；

所述腦電信息采集系統，用于獲取所述待識別腦電信號序列；

所述腦電信息處理系統包括腦電信號分類模型，將所述待識別腦電信號序列輸入到所述腦電信號分類模型，得到所述待識別腦電信號序列的腦電分類信息，通過分析腦電分類信息得到用戶意圖；

所述腦電信號分類模型的構建方法為：

S1.將所述待識別腦電信號進行腦電信號預處理，得到起始分類信號，預處理步驟包括：導入數據、選擇通道數據、刪除無用電極、重參考、濾波、分波與基線矯正、偽跡去除；

S2.構建一個3層卷積層、3層池化層和1層全連接層構成的卷積神經網絡；

S3.使用所述起始分類信號對所述卷積神經網絡進行訓練，得到腦電信號分類模型，使所述腦電信號分類模型的分類準確率大于95％；

S4.將所述腦電信號分類模型應用于實時腦電信號的在線分類；

機器人控制系統，用于控制所述機器人根據所述動作控制指令進行運動；

所述機器人控制系統包括：

視頻采集系統，用于控制所述機器人采集所述環境信息；

物體抓取系統，用于控制所述機器人執行物體抓取運動；

頭部控制系統，用于控制所述機器人頭部運動，包括左轉頭、右轉頭、抬頭和低頭；

手部控制系統，用于控制所述機器人手部運動；

手臂控制系統，用于控制所述機器人手臂運動；

腿部控制系統，用于控制所述機器人腿部運動，包括前進、后退、左轉和右轉；

導航系統，用于控制所述機器人進行導航運動；

語音系統，用于控制所述機器人輸出語音；

2.根據權利要求1所述一種人機融合腦控機器人系統，其特征在于：

動態刺激標注系統還包括：

動態刺激標注物體追蹤模型，通過遷移學習方法對所述機器人的視覺領域前沿算法模型進行再訓練。

3.根據權利要求1所述一種人機融合腦控機器人系統，其特征在于：

所述腦電信號分類模型無需進行訓練。

4.根據權利要求1所述一種人機融合腦控機器人系統,其特征在于：

所述用戶意圖包括機器人抓取物體、機器人放下物體、機器人頭部運動、機器人手部運動、機器人腿部運動、機器人導航運動、機器人語音輸出。