[發明專利]基于PYNQ和多模態腦機接口的飛行器控制系統及方法

在審

• 申請號: 202110447549.5
• 申請日: 2021-04-25
• 公開（公告）號: CN113126767A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 杜高明;魯杰;羅文;趙慶昊;李楨旻;尹勇生
• 申請（專利權）人: 合肥工業大學
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于PYNQ和多模態腦機接口的飛行器控制系統，其特征在于，包括：信號采集模塊、處理模塊、飛行器控制模塊：

所述信號采集模塊包括：腦電采集模塊、眼電采集模塊、通信模塊；

所述處理模塊集成在PYNQ系列FPGA上，包括：信號預處理模塊、信號解碼模塊、語音播報模塊、無線通信模塊；

所述飛行器控制模塊包括：指令生成模塊、姿態傳感器；

所述腦電采集模塊用于采集大腦皮層感覺運動區域產生的原始腦電信號，并提供給通信模塊；

所述眼電采集模塊用于采集眨眼產生的原始肌電信號，并提供給通信模塊；

所述通信模塊將接收到的原始腦電信號和眨眼產生的原始肌電信號發送給處理模塊；

所述信號預處理模塊對所接收到的原始腦電信號和眨眼產生的原始肌電信號依次進行濾波處理、歸一化處理和小波變換處理，從而得到預處理后的腦電信號和肌電信號；

所述信號解碼模塊包括：眨眼檢測單元、腦電信號解碼單元；

所述眨眼檢測單元用于對預處理后的肌電信號進行眨眼情況的分類，包括：眨左眼、眨右眼、眨雙眼和超時未眨眼的四種眨眼情況；

所述腦電信號解碼單元包括：通用卷積神經網絡加速IP、存儲模塊；且所述卷積層使用AXI4-Streaming接口；

所述通用卷積神經網絡網絡加速IP由Vivado HLS工具生成，并包括：卷積層、池化層、非線性激活層和全連接層；

所述卷積神經網絡加速IP對預處理后的腦電信號進行運動想象腦電信號的分類，包括：想象左側肢體運動的腦電信號、想象右側肢體運動的腦電信號；

所述存儲模塊包括：DMA單元、DDR單元；

所述DMA單元用于提供數據緩沖；

DDR單元用于儲存腦電信號和眨眼產生的肌電信號的分類結果；

所述語音播報模塊通過串口與處理模塊相連接，并根據信號解碼模塊得到的分類結果進行語音播報；

所述無線通信模塊包括：USB WiFi、USB藍牙；

所述USB WiFi用于建立信號采集模塊和處理模塊之間的通信，使處理模塊能接收到來自信號采集模塊發送的原始腦電信號和肌電信號；

所述USB藍牙用于建立處理模塊和飛行器控制模塊之間的通信，使信號解碼模塊的分類結果能發送至飛行器控制模塊中的指令生成模塊；

所述指令生成模塊用于將信號解碼模塊得到的分類結果轉換為對應的飛行器控制指令，包括：眨雙眼對應于起飛的控制指令、眨左眼對應于左轉90度的控制指令、眨右眼對應于右轉90度的控制指令、超時未眨眼對應于降落的控制指令、想象左對應于上升的控制指令、想象右對應于下降的控制指令，并將飛行器控制指令發送至姿態傳感器；

所述姿態傳感器根據飛行器控制指令控制飛行器的飛行姿態。

2.一種基于PYNQ和多模態腦機接口的飛行器控制方法，其特征在于是應用于由信號采集模塊、處理模塊、飛行器控制模塊所組成的系統中；

所述信號采集模塊包括：腦電采集模塊、眼電采集模塊、通信模塊；

所述處理模塊集成在PYNQ系列FPGA上，包括：信號預處理模塊、信號解碼模塊、語音播報模塊、無線通信模塊；

所述腦電信號解碼單元包括：通用卷積神經網絡加速IP、存儲模塊；

所述飛行器控制模塊包括：指令生成模塊、姿態傳感器；

所述信號解碼模塊包括：眨眼檢測單元、腦電信號解碼單元；

所述無線通信模塊包括：USB WiFi、USB藍牙；

所述飛行器控制方法包括以下步驟：

步驟1：處理模塊上電，將語音播報模塊和無線通信模塊分別與處理模塊連接；

步驟2：用戶佩戴腦電采集模塊、眼電采集模塊，并分別用于獲取原始腦電信號和眨眼產生的原始肌電信號；

步驟3：所述通信模塊將原始腦電信號和原始肌電信號通過USB WiFi發送至處理模塊；

步驟4、所述信號預處理模塊對所接收到的原始腦電信號和原始肌電信號依次進行濾波處理、歸一化處理和小波變換處理，從而得到預處理后的腦電信號和肌電信號；

步驟5：所述眨眼檢測單元對預處理后的肌電信號進行眨眼情況的分類，包括：眨左眼、眨右眼、眨雙眼和超時未眨眼四種眨眼情況；

所述腦電信號解碼單元使用卷積神經網絡加速IP對預處理后的腦電信號進行運動想象情況的分類，包括：想象左側肢體運動和想象右側肢體運動；

步驟6：所述處理模塊通過串口通信的方式調用語音播報模塊，用于對信號解碼模塊的分類結果進行播報，同時將分類結果通過USB藍牙發送至指令生成模塊；

步驟7：所述指令生成模塊將分類結果轉換為對應的飛行器控制指令，包括：眨雙眼對應于起飛的控制指令、眨左眼對應于左轉90度的控制指令、眨右眼對應于右轉90度的控制指令、超時未眨眼對應于降落的控制指令、想象左對應于上升的控制指令、想象右對應于下降的控制指令，并將飛行器控制指令發送至姿態傳感器；

步驟8：所述姿態傳感器根據控制指令控制飛行器完成對應動作，并在執行完當前控制指令后等待下一條控制指令到來前，保持懸停狀態。