[發(fā)明專利]基于多模態(tài)腦機(jī)接口與增強(qiáng)現(xiàn)實(shí)的智能家居控制方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110068284.8
• 申請(qǐng)日: 2021-01-19
• 公開（公告）號(hào): CN112859628A
• 公開（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 李遠(yuǎn)清;李倫康;瞿軍
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G05B15/02
• 分類號(hào): G05B15/02;G05B19/418;G06F3/01;G06K9/00
• 代理公司: 北京中濟(jì)緯天專利代理有限公司 11429
• 代理人: 謝建華

本發(fā)明公開了基于多模態(tài)腦機(jī)接口與增強(qiáng)現(xiàn)實(shí)的智能家居控制方法，將各模塊按圖1所示順序連接好，并使用戶正常佩戴腦電信號(hào)采集帽和增強(qiáng)現(xiàn)實(shí)設(shè)備；“開始”按鈕會(huì)以一個(gè)固定的頻率進(jìn)行閃爍，此時(shí)腦電信號(hào)處理模塊僅對(duì)采集到的用戶腦電進(jìn)行SSVEP信號(hào)檢測(cè)，若某用戶正在注視閃爍的按鈕，則其對(duì)應(yīng)的腦電采集帽將會(huì)有穩(wěn)態(tài)視覺誘發(fā)電位SSVEP的出現(xiàn)，當(dāng)用戶進(jìn)入設(shè)備菜單主界面后，將增強(qiáng)現(xiàn)實(shí)知識(shí)庫(kù)中的可操作智能家居設(shè)備排列成二維矩陣的形式，采用改進(jìn)的P300的行列式刺激范式此方式在需要選擇的目標(biāo)較多時(shí)，可大大提高操作時(shí)的時(shí)間效率；實(shí)現(xiàn)多用戶通過腦機(jī)接口與增強(qiáng)現(xiàn)實(shí)技術(shù)對(duì)現(xiàn)實(shí)中的智能家居設(shè)備進(jìn)行控制，為腦機(jī)接口在實(shí)際應(yīng)用中提供了一個(gè)接入點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明屬于智能家居控制技術(shù)領(lǐng)域，具體涉及基于多模態(tài)腦機(jī)接口與增強(qiáng)現(xiàn)實(shí)的智能家居控制方法。

背景技術(shù)

在當(dāng)今社會(huì)中，科技不斷發(fā)展，殘疾人或手腳活動(dòng)不便的人群也有了一些科技輔助設(shè)備，如何更好地服務(wù)該人群也成了科技發(fā)展的一個(gè)方向，為了提高該人群得活動(dòng)和工作生活能力，特進(jìn)行了如下的調(diào)研和分析：申請(qǐng)?zhí)枮?01711166187.2和201910524880.5的發(fā)明是將SSVEP腦電信號(hào)與眼動(dòng)信號(hào)相結(jié)合的控制方式。前者通過眼動(dòng)信號(hào)在增強(qiáng)現(xiàn)實(shí)設(shè)備顯示的界面中進(jìn)行被控對(duì)象的選擇，然后采用SSVEP腦電信號(hào)進(jìn)行進(jìn)一步的控制；后者是將眼動(dòng)信號(hào)與SSVEP信號(hào)直接融合到多模態(tài)神經(jīng)網(wǎng)絡(luò)中得到控制指令。采用腦眼結(jié)合的方式優(yōu)點(diǎn)是解放了雙手，但缺點(diǎn)是難以區(qū)分實(shí)際操作時(shí)的眼動(dòng)與無目的性的眼動(dòng)，并且頻繁的操作會(huì)對(duì)用戶的用眼習(xí)慣造成影響；申請(qǐng)?zhí)枮?01910416699.2的發(fā)明，結(jié)合了圖像處理和SSVEP等方式對(duì)機(jī)械臂進(jìn)行控制，圖像處理用來選擇操作對(duì)象，SSVEP進(jìn)行被控設(shè)備的操作，優(yōu)點(diǎn)是該方法能提供一種所見即所得的控制效果，注意力無需在刺激界面和機(jī)械臂之間來回轉(zhuǎn)移，缺點(diǎn)是SSVEP的可使用頻率帶寬有限，機(jī)械臂的操作精度受到限制；申請(qǐng)?zhí)?01610789801.X的發(fā)明，是采用了腦電加肌電的控制方式，通過SSVEP信號(hào)對(duì)被控對(duì)象進(jìn)行選擇，然后通過咬齒和舌動(dòng)肌電信號(hào)對(duì)被控設(shè)備進(jìn)行控制。此方式的控制的準(zhǔn)確性較高，但缺點(diǎn)是SSVEP信號(hào)可使用的頻率帶款有限，限制了被控設(shè)備數(shù)量的擴(kuò)展；申請(qǐng)?zhí)枮?01910466601.4的發(fā)明是一種采用了P300和增強(qiáng)現(xiàn)實(shí)結(jié)合的控制方法，該方法將被控設(shè)備進(jìn)行編號(hào)，然后通過感知系統(tǒng)對(duì)設(shè)備進(jìn)行感知，再通過P300進(jìn)行控制，此方法僅采用了單一模態(tài)的P300腦電信號(hào)，在設(shè)備編號(hào)較大的時(shí)候，控制的效率會(huì)大幅降低。由于非侵入式腦機(jī)接口采集的腦電信號(hào)不是高信噪比的信號(hào)，目前對(duì)該信號(hào)的分析和使用中仍有不低的錯(cuò)誤率。一般基于單模態(tài)腦機(jī)接口的控制方法中，一旦需要實(shí)現(xiàn)的控制指令較多時(shí)，系統(tǒng)要么控制效率低下，要么錯(cuò)誤率會(huì)較高。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供基于多模態(tài)腦機(jī)接口與增強(qiáng)現(xiàn)實(shí)的智能家居控制方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：基于多模態(tài)腦機(jī)接口與增強(qiáng)現(xiàn)實(shí)的智能家居控制方法，步驟一：將各模塊按圖1所示順序連接好，并使用戶正常佩戴腦電信號(hào)采集帽和增強(qiáng)現(xiàn)實(shí)設(shè)備；增強(qiáng)現(xiàn)實(shí)設(shè)備開啟后，會(huì)出現(xiàn)如圖2所示界面，圖中“開始”按鈕會(huì)以一個(gè)固定的頻率進(jìn)行閃爍，此時(shí)腦電信號(hào)處理模塊僅對(duì)采集到的用戶腦電進(jìn)行SSVEP信號(hào)檢測(cè)，若某用戶正在注視閃爍的按鈕，則其對(duì)應(yīng)的腦電采集帽將會(huì)有穩(wěn)態(tài)視覺誘發(fā)電位SSVEP的出現(xiàn)，通過提取其頻域特征，通過計(jì)算按鈕閃爍的頻率的窄帶范圍平均能量和寬帶范圍的平均能量的比率α；判斷該值是否已達(dá)到某一閾值，若達(dá)到，則表示用戶進(jìn)行了選擇操作，進(jìn)入設(shè)備菜單主界面，若未達(dá)到，不行任何操作，各設(shè)備狀態(tài)不變；