[發(fā)明專利]眼動(dòng)-腦電混合人機(jī)接口系統(tǒng)架構(gòu)

在審

• 申請(qǐng)?zhí)枺?/td>: 201711292566.6
• 申請(qǐng)日: 2017-12-07
• 公開(kāi)（公告）號(hào): CN108255293A
• 公開(kāi)（公告）日: 2018-07-06
• 發(fā)明（設(shè)計(jì)）人: 謝建春;文鵬程;白林亭
• 申請(qǐng)（專利權(quán)）人: 中國(guó)航空工業(yè)集團(tuán)公司西安航空計(jì)算技術(shù)研究所
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01
• 代理公司: 中國(guó)航空專利中心 11008
• 代理人: 杜永保

本發(fā)明屬于人機(jī)交互領(lǐng)域，涉及一種應(yīng)用在飛機(jī)座艙使用環(huán)境下的眼動(dòng)?腦電混合人機(jī)接口系統(tǒng)架構(gòu)。由3個(gè)功能單元組成，眼動(dòng)?腦電多模態(tài)信號(hào)同步采集，2是眼動(dòng)?腦電信號(hào)在線分析，3是人機(jī)協(xié)作接口控制模式及應(yīng)用策略分配；整個(gè)系統(tǒng)架構(gòu)的處理流程是從單元1至單元3，其中單元1負(fù)責(zé)眼動(dòng)及腦電信號(hào)的采集，即數(shù)據(jù)獲取；單元2負(fù)責(zé)眼動(dòng)及腦電信號(hào)的數(shù)據(jù)處理和分析；單元3負(fù)責(zé)將處理后的數(shù)據(jù)通過(guò)混合人機(jī)接口協(xié)議轉(zhuǎn)換為飛機(jī)控制指令。本發(fā)明極大的提升未來(lái)飛行器的智能控制水平。

技術(shù)領(lǐng)域

本發(fā)明屬于人機(jī)交互領(lǐng)域，涉及一種應(yīng)用在飛機(jī)座艙環(huán)境中的腦機(jī)-眼動(dòng)混合人機(jī)交互接口系統(tǒng)架構(gòu)和工作流程。

背景技術(shù)

現(xiàn)有的機(jī)載人機(jī)接口(按鍵、旋鈕、開(kāi)關(guān)、搖桿、觸敏控制、語(yǔ)音控制等)在面臨未來(lái)新一代飛機(jī)多任務(wù)以及多通道人機(jī)交互需求時(shí)，存在明顯的不足。首先，操控指令形成過(guò)程復(fù)雜，飛行員的認(rèn)知決策需要先映射至相應(yīng)的控制通道和人機(jī)界面，才能翻譯成可被機(jī)載系統(tǒng)接受的操控指令。其次，它們的操控界面繁瑣，由于增加了指令轉(zhuǎn)換的中間環(huán)節(jié)，飛行員需要在不同的操控界面之間來(lái)回切換，才能完成某一操控任務(wù)。再次，它們的操控反應(yīng)速度較慢，飛行員操控動(dòng)作的響應(yīng)時(shí)間一般都在秒級(jí)以上。

發(fā)明內(nèi)容

本發(fā)明的目的：

本發(fā)明提出的眼動(dòng)-腦電混合人機(jī)接口系統(tǒng)架構(gòu)旨在通過(guò)眼動(dòng)-腦電多模態(tài)信號(hào)同步采集、眼動(dòng)-腦電信號(hào)在線分析、人機(jī)協(xié)作接口控制模式及應(yīng)用策略分配等關(guān)鍵技術(shù)，形成可應(yīng)用于機(jī)載座艙環(huán)境內(nèi)的眼動(dòng)-腦電人機(jī)交互接口，提供高效的飛行任務(wù)執(zhí)行能力。

本發(fā)明的技術(shù)方案：

本發(fā)明提出的眼動(dòng)-腦電混合人機(jī)接口系統(tǒng)架構(gòu)包括3個(gè)功能單元，1是眼動(dòng)-腦電多模態(tài)信號(hào)同步采集單元，2是眼動(dòng)-腦電信號(hào)在線分析單元，3是人機(jī)協(xié)作接口控制模式及應(yīng)用策略分配單元；整個(gè)系統(tǒng)架構(gòu)的處理流程是從單元1至單元3，其中單元1負(fù)責(zé)眼動(dòng)及腦電信號(hào)的采集，即數(shù)據(jù)獲取；單元2負(fù)責(zé)眼動(dòng)及腦電信號(hào)的數(shù)據(jù)處理和分析；單元3負(fù)責(zé)將處理后的數(shù)據(jù)通過(guò)混合人機(jī)接口協(xié)議轉(zhuǎn)換為飛機(jī)控制指令。

所述混合人機(jī)接口協(xié)議包括眼動(dòng)以及腦電信號(hào)的組合指令集，飛行員常用操縱方式以及指令的編碼庫(kù)，指令集與編碼庫(kù)之間的映射關(guān)系。

所述功能單元1眼動(dòng)-腦電多模態(tài)信號(hào)同步采集過(guò)程主要涉及如何利用高精度時(shí)鐘同步眼動(dòng)、腦電信號(hào)的采集和修正，從而實(shí)現(xiàn)數(shù)據(jù)同步的高精度；

所述功能單元2眼動(dòng)-腦電信號(hào)在線分析包括眼動(dòng)、腦電信號(hào)的預(yù)處理以及相關(guān)信號(hào)分析過(guò)程，具體包括帶通濾波、低通濾波、典型相關(guān)分析(CCA)、支撐向量機(jī)(SVM)等信號(hào)處理方法；

所述功能單元3人機(jī)協(xié)作接口控制模式及應(yīng)用策略分配包括人機(jī)協(xié)作策略、任務(wù)規(guī)劃與協(xié)調(diào)控制等過(guò)程，用于保證眼動(dòng)、腦電信號(hào)能夠更加高效的映射成飛行員的控制指令。

本發(fā)明具有的優(yōu)點(diǎn)效果：

本發(fā)明提出的眼動(dòng)-腦電混合人機(jī)接口系統(tǒng)架構(gòu)旨在通過(guò)眼動(dòng)-腦電多模態(tài)信號(hào)同步采集、眼動(dòng)-腦電信號(hào)在線分析、人機(jī)協(xié)作接口控制模式及應(yīng)用策略分配等關(guān)鍵技術(shù)，形成可應(yīng)用于機(jī)載座艙環(huán)境內(nèi)的眼動(dòng)-腦電人機(jī)交互接口。該接口可以彌補(bǔ)傳統(tǒng)座艙與飛行員人機(jī)接口的不足，同時(shí)在人類智能與機(jī)器智能融合的發(fā)展趨勢(shì)下，將腦機(jī)接口的決策輸出與新一代飛機(jī)的自主決策輸出進(jìn)行融合，依據(jù)當(dāng)前腦機(jī)接口的輸出和飛機(jī)所處的狀態(tài)，來(lái)決定最終的控制指令。這也能夠極大的提升未來(lái)飛行器的智能控制水平。

附圖說(shuō)明

圖1眼動(dòng)-腦電混合人機(jī)接口系統(tǒng)架構(gòu)示意圖。

具體實(shí)施方式