[發明專利]基于語義目標閃爍與精密運動意圖的無人機混合腦控方法

在審

• 申請號: 202210584199.1
• 申請日: 2022-05-27
• 公開（公告）號: CN115047896A
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 李睿;劉迪;劉衛平;李治軍;劉宇琪
• 申請（專利權）人: 西安市人民醫院（西安市第四醫院）
• 主分類號: G05D1/08
• 分類號: G05D1/08;G05D1/10;G06N3/04;G06N3/08
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 王奇

本發明一種基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，包括：步驟1，對采集進行精密手勢的腦電信號并進行神經網絡識別向無人機本體模塊發送指令，無人機本體模塊根據指令飛到指定位置；步驟2，控制無人機本體模塊對周圍環境進行采集經過分割后將具有語義信息的目標物傳入可佩戴型視覺閃爍模塊中，操控者對需要抓取的分割目標進行注視，通過相應的腦電信號得到抓取目標的腦控指令從而控制無人機本體模塊對目標物體進行抓取。本發明解決了傳統無人機飛行控制過程中所存在的自主控制能力差、以及現有腦控系統存在的準確性低、可靠性差等關鍵問題。

技術領域

本發明屬于腦機控制技術領域，涉及一種基于語義目標閃爍與精密運動意圖的無人機混合腦控方法。

背景技術

無人機因其輕便靈活和安全可控等優點，在各行各業呈現廣闊的應用場景。而目前市面上的無人機根據其交互模式的不同，可分為直接控制模式與智能控制模式兩種。前者操作人員直接對無人機進行控制，而后者則自動完成目標識別與導引控制。但上述兩種控制方式均存在自主決策力低、適應性低的問題。

腦機接口技術作為一種建立大腦與外部設備之間進行直接信息交互的生物智能技術，在無人機控制方面得到了廣泛的應用，但利用單范式腦控系統操縱無人機時存在以下不足：一是長時間作業時系統魯棒性不好；二是無法針對被控制對象提供足夠的腦電信號解碼指令；三是在指令數量較多的情況下，對指令的識別精度明顯下降。

基于此，本發明提出了一種基于語義目標閃爍與精密手勢運動結合的無人機混合腦控方法，以解決傳統腦控無人機系統中存在的腦電信號解碼指令不足、系統穩定性差的問題。

發明內容

本發明的目的是提供一種基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，以解決傳統無人機飛行控制過程中所存在的自主控制能力差、以及現有腦控系統存在的準確性低、可靠性差等關鍵問題。

本發明所采用的技術方案是：

基于語義目標閃爍與精密手勢運動意圖結合的無人機混合腦控方法，包括佩戴于操控者頭部的便攜化腦電信號采集模塊、腦電信號采集模塊通過無線通訊模塊a與腦電信號處理模塊無線連接，腦電信號處理模塊通過無線通訊模塊b與四旋翼的無人機本體模塊連接；還包括位于受試者眼前的可佩戴型視覺閃爍模塊，可佩戴型視覺閃爍模塊通過無線通訊模塊a與腦電信號處理模塊連接；具體方法步驟包括：

步驟1，操控者佩戴腦電信號采集模塊采集操控者進行精密手勢的腦電信號并傳入腦電信號處理模塊，腦電信號處理模塊通過對腦電信號進行神經網絡識別向無人機本體模塊發送指令從而控制無人機本體模塊飛到指定位置；

步驟2，控制無人機本體模塊飛到指定位置后，控制無人機本體模塊對周圍環境進行采集傳入腦電信號處理模塊，腦電信號處理模塊對周圍環境圖進行分割后傳入可佩戴型視覺閃爍模塊中，操控者對需要抓取的分割目標進行注視，腦電信號采集模塊對相應的腦電信息進行采集并傳入腦電信號處理模塊從而得到抓取目標的腦控指令控制無人機本體模塊對目標物體進行抓取。

本發明的特點還在于：

步驟1的具體步驟為：

步驟1.1，定義與飛行姿態對應的精密手勢運動意圖；

步驟1.2，采用腦電信號采集模塊采集不同精密手勢運動意圖時軀體運動區電極位置的腦電信號，得到不同精密手勢運動意圖下的腦電信號離線樣本；

步驟1.3，對步驟1.2采集到的腦電信號離線樣本進行預處理；

步驟1.4，對預處理后的腦電信號進行特征提取，得到離線特征樣本集；

步驟1.5，通過得到的精密手勢運動意圖的離線特征樣本集，進行神經網絡分類器的訓練和保存；