[發明專利]基于語義目標閃爍與精密運動意圖的無人機混合腦控方法

在審

• 申請號: 202210584199.1
• 申請日: 2022-05-27
• 公開（公告）號: CN115047896A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 李睿;劉迪;劉衛平;李治軍;劉宇琪
• 申請（專利權）人: 西安市人民醫院（西安市第四醫院）
• 主分類號: G05D1/08
• 分類號: G05D1/08;G05D1/10;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王奇

1.基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，其特征在于，包括佩戴于操控者頭部的便攜化腦電信號采集模塊(120)、腦電信號采集模塊(120)通過無線通訊模塊a(130)與腦電信號處理模塊(140)無線連接，腦電信號處理模塊(140)通過無線通訊模塊b(150)與無人機本體模塊(160)連接；還包括位于受試者眼前的可佩戴型視覺閃爍模塊(110)，可佩戴型視覺閃爍模塊(110)通過無線通訊模塊a(130)與腦電信號處理模塊(140)連接；具體方法步驟包括：

步驟1，操控者佩戴腦電信號采集模塊(120)采集操控者進行精密手勢的腦電信號并傳入腦電信號處理模塊(140)，腦電信號處理模塊(140)通過對腦電信號進行神經網絡識別向無人機本體模塊(160)發送指令從而控制無人機本體模塊(160)飛到指定位置；

步驟2，控制無人機本體模塊(160)飛到指定位置后，控制無人機本體模塊(160)對周圍環境進行采集傳入腦電信號處理模塊(140)，腦電信號處理模塊(140)對周圍環境圖進行分割后傳入可佩戴型視覺閃爍模塊(110)中，操控者對需要抓取的分割目標進行注視，腦電信號采集模塊(120)對相應的腦電信息進行采集并傳入腦電信號處理模塊(140)從而得到抓取目標的腦控指令控制無人機本體模塊(160)對目標物體進行抓取。

2.如權利要求1所述的基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，其特征在于，所述步驟1的具體步驟為：

步驟1.1，定義與飛行姿態對應的精密手勢運動意圖；

步驟1.2，采用腦電信號采集模塊(120)采集不同精密手勢運動意圖時軀體運動區電極位置的腦電信號，得到不同精密手勢運動意圖下的腦電信號離線樣本；

步驟1.3，對步驟1.2采集到的腦電信號離線樣本進行預處理；

步驟1.4，對預處理后的腦電信號進行特征提取，得到離線特征樣本集；

步驟1.5，通過得到的精密手勢運動意圖的離線特征樣本集，進行神經網絡分類器的訓練和保存；

步驟1.6，實施控制時，操控者做出精密手勢運動意圖，腦電信號采集模塊(120)實時采集控制者的腦電信號傳入腦電信號處理模塊(140)進行預處理和特征提取并調用訓練好的神經網絡模型進行模式識別,得到的腦電信號識別結果，轉化為對應的飛信姿態控制指令傳給無人機本體模塊(160)，控制無人機本體模塊(160)到達指定地點。

3.如權利要求1所述的基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，其特征在于，所述步驟2的具體步驟為：

步驟2.1，無人機本體模塊(160)上的視覺感知單元采集周圍環境信息，并將采集到的環境信息以二維圖片的傳送給腦電信號處理模塊(140)；

步驟2.2，腦電信號處理模塊(140)對接收的圖片信息進行目標檢測，并對檢測到的目標進行分割、閃爍，將分割后的圖片呈現在可佩戴型視覺閃爍模塊上；

步驟2.3，操控者選擇需要抓取的分割目標進行注視，腦電信號采集模塊(120)同步采集枕葉區電極位置的腦電信號，并將采集的信號發送給腦電信號處理模塊(140)；

步驟2.4，腦電信號處理模塊(140)對步驟2.3采集的腦電信號進行預處理、對操控者產生的視覺誘發腦電信號的特征提取和模式識別，得到相應腦控指令，并傳給無人機本體模塊(160)；

步驟2.5，無人機本體模塊(160)上的控制單元，根據視覺誘發腦控指令確定待抓取目標，控制無人機的精確抓取。

4.如權利要求2或者3所述的基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，其特征在于，其中腦電信號采集模塊(120)具體采集國際10/20標準下，操控者軀體運動區FC3、FCz、FC4、C3、Cz、C4、CP3、CP4，枕葉區O1、O2、Oz電極位置的腦電信號。

5.如權利要求2或者3所述的基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，其特征在于，所述預處理步驟為對采集到的腦電信號進行0.5-45Hz的巴特沃斯帶通濾波和去除趨勢項處理；所述特征提取方法為采用小波變換提取精密手勢運動意圖腦電信號的時頻域特征。