[發(fā)明專利]基于PYNQ和多模態(tài)腦機(jī)接口的飛行器控制系統(tǒng)及方法

在審

• 申請?zhí)枺?/td>: 202110447549.5
• 申請日: 2021-04-25
• 公開（公告）號: CN113126767A
• 公開（公告）日: 2021-07-16
• 發(fā)明（設(shè)計(jì)）人: 杜高明;魯杰;羅文;趙慶昊;李楨旻;尹勇生
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號: G06F3/01
• 分類號: G06F3/01;G06K9/00
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

本發(fā)明公開了一種基于PYNQ和多模態(tài)腦機(jī)接口的飛行器控制系統(tǒng)及方法，該系統(tǒng)包括：信號采集模塊、處理模塊、飛行器控制模塊；信號采集模塊包括腦電采集模塊、眼電采集模塊、通信模塊；處理模塊包括：信號預(yù)處理模塊、信號解碼模塊、語音播報(bào)模塊、無線通信模塊；飛行器控制模塊包括：指令生成模塊、姿態(tài)傳感器，通過采集用戶的腦電和眼電信號，并對信號進(jìn)行處理，進(jìn)而能實(shí)時控制飛行器。本發(fā)明通過結(jié)合腦機(jī)接口技術(shù)和嵌入式平臺，能改善傳統(tǒng)腦機(jī)接口控制系統(tǒng)便攜性差、功耗高、成本高、可移植性差的缺點(diǎn)，從而提高實(shí)用性。

技術(shù)領(lǐng)域

本發(fā)明涉及腦機(jī)接口和FPGA領(lǐng)域，具體涉及基于PYNQ和多模態(tài)腦機(jī)接口的飛行器控制系統(tǒng)及方法。

背景技術(shù)

隨著腦科學(xué)研究的深入，腦機(jī)接口技術(shù)具有能夠直接在人腦與外部設(shè)備間建立連接的特性，腦機(jī)接口控制系統(tǒng)已逐漸成為學(xué)術(shù)界和產(chǎn)業(yè)界的關(guān)注焦點(diǎn)，應(yīng)用于醫(yī)療、教育、娛樂領(lǐng)域的技術(shù)正不斷完善?，F(xiàn)有的基于腦機(jī)接口的控制系統(tǒng)數(shù)量較少，同時存在著以下缺陷：

1、現(xiàn)有的腦機(jī)接口控制系統(tǒng)實(shí)用性較差，系統(tǒng)以PC機(jī)或工作站作為計(jì)算節(jié)點(diǎn)，應(yīng)用過程中存在設(shè)備復(fù)雜、功耗大、便攜性差的缺點(diǎn)，導(dǎo)致難以面向市場；

2、現(xiàn)有的腦機(jī)接口控制系統(tǒng)控制狀態(tài)較少，僅使用腦電信號，忽略了其他有意義的生物電信號，導(dǎo)致可使用控制狀態(tài)數(shù)目少；

3、現(xiàn)有腦機(jī)接口控制系統(tǒng)實(shí)時性較差，對信號處理的速度滯后，無法做到實(shí)時處理，導(dǎo)致控制性較差，缺少使用體驗(yàn)。

發(fā)明內(nèi)容

本發(fā)明為了改善現(xiàn)有腦機(jī)接口控制系統(tǒng)存在的不足，提供一種基于PYNQ和多模態(tài)腦機(jī)接口的飛行器控制系統(tǒng)及方法，以期通過結(jié)合腦機(jī)接口技術(shù)和FPGA嵌入式平臺，使用戶能通過眨眼和進(jìn)行運(yùn)動想象來控制無人機(jī)，從而提高腦機(jī)接口控制系統(tǒng)的便攜性和實(shí)時性；同時具有語音播報(bào)功能，能播報(bào)信號分類結(jié)果，以提高交互體驗(yàn)。

本發(fā)明為達(dá)到上述發(fā)明目的，采用如下技術(shù)方案：

本發(fā)明一種基于PYNQ和多模態(tài)腦機(jī)接口的飛行器控制系統(tǒng)的特點(diǎn)在于，包括：信號采集模塊、處理模塊、飛行器控制模塊：

所述信號采集模塊包括：腦電采集模塊、眼電采集模塊、通信模塊；

所述處理模塊集成在PYNQ系列FPGA上，包括：信號預(yù)處理模塊、信號解碼模塊、語音播報(bào)模塊、無線通信模塊；

所述飛行器控制模塊包括：指令生成模塊、姿態(tài)傳感器；

所述腦電采集模塊用于采集大腦皮層感覺運(yùn)動區(qū)域產(chǎn)生的原始腦電信號，并提供給通信模塊；

所述眼電采集模塊用于采集眨眼產(chǎn)生的原始肌電信號，并提供給通信模塊；

所述通信模塊將接收到的原始腦電信號和眨眼產(chǎn)生的原始肌電信號發(fā)送給處理模塊；

所述信號預(yù)處理模塊對所接收到的原始腦電信號和眨眼產(chǎn)生的原始肌電信號依次進(jìn)行濾波處理、歸一化處理和小波變換處理，從而得到預(yù)處理后的腦電信號和肌電信號；

所述信號解碼模塊包括：眨眼檢測單元、腦電信號解碼單元；

所述眨眼檢測單元用于對預(yù)處理后的肌電信號進(jìn)行眨眼情況的分類，包括：眨左眼、眨右眼、眨雙眼和超時未眨眼的四種眨眼情況；

所述腦電信號解碼單元包括：通用卷積神經(jīng)網(wǎng)絡(luò)加速IP、存儲模塊；且所述卷積層使用AXI4-Streaming接口；

所述通用卷積神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)加速IP由Vivado HLS工具生成，并包括：卷積層、池化層、非線性激活層和全連接層；

所述卷積神經(jīng)網(wǎng)絡(luò)加速IP對預(yù)處理后的腦電信號進(jìn)行運(yùn)動想象腦電信號的分類，包括：想象左側(cè)肢體運(yùn)動的腦電信號、想象右側(cè)肢體運(yùn)動的腦電信號；