[發(fā)明專利]一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010769302.0
• 申請(qǐng)日: 2020-08-03
• 公開（公告）號(hào): CN112114662A
• 公開（公告）日: 2020-12-22
• 發(fā)明（設(shè)計(jì)）人: 張小棟;蔣永玉;陸竹風(fēng);王雅純;張騰;朱文靜
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): G06F3/01
• 分類號(hào): G06F3/01;G06T19/00
• 代理公司: 西安通大專利代理有限責(zé)任公司 61200
• 代理人: 范巍

1.一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法，其特征在于：該腦控方法包括以下步驟：

步驟1：在用戶注視融合有某控制對(duì)象的誘發(fā)圖像刺激界面過程中，采集該用戶視覺枕葉區(qū)腦電信號(hào)；

步驟2：通過對(duì)采集的腦電信號(hào)進(jìn)行視覺誘發(fā)信號(hào)特征提取及基于用戶個(gè)人特征修正的相關(guān)分析，識(shí)別用戶通過注視誘發(fā)圖像刺激界面上的特定誘發(fā)控制動(dòng)態(tài)圖像而意圖發(fā)出的控制指令。

2.根據(jù)權(quán)利要求1所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法，其特征在于：所述步驟1中，誘發(fā)圖像刺激界面是將可針對(duì)控制對(duì)象預(yù)設(shè)的用于動(dòng)態(tài)誘發(fā)識(shí)別相應(yīng)控制指令的誘發(fā)控制動(dòng)態(tài)圖像與含有控制對(duì)象的環(huán)境信息共同作為用戶視覺輸入的增強(qiáng)現(xiàn)實(shí)界面；誘發(fā)控制動(dòng)態(tài)圖像由控制對(duì)象依據(jù)控制指令而做出的動(dòng)作的分幀動(dòng)作畫面依次翻轉(zhuǎn)顯示而形成。

3.根據(jù)權(quán)利要求2所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法，其特征在于：所述誘發(fā)圖像刺激界面是根據(jù)采集的當(dāng)前場(chǎng)景的環(huán)境信息并經(jīng)過控制對(duì)象識(shí)別和鎖定后而相應(yīng)進(jìn)行切換的，或者，所述誘發(fā)圖像刺激界面由用戶指定。

4.根據(jù)權(quán)利要求1所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法，其特征在于：所述步驟2中，視覺誘發(fā)信號(hào)特征提取具體包括以下步驟：對(duì)采集的腦電信號(hào)按照時(shí)窗長(zhǎng)度為1.0～2.0s、時(shí)窗重疊為0.3～0.8s進(jìn)行連續(xù)時(shí)窗截取，對(duì)截取得到的時(shí)窗信號(hào)按照5Hz至45Hz頻率范圍進(jìn)行巴特沃斯帶通濾波，然后將時(shí)窗信號(hào)按照腦電信號(hào)采集通道進(jìn)行疊加平均處理；然后選取2～4個(gè)連續(xù)時(shí)窗信號(hào)作為單次控制指令識(shí)別的輸入信號(hào)。

5.根據(jù)權(quán)利要求4所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法，其特征在于：所述步驟2中，基于用戶個(gè)人特征修正的相關(guān)分析具體包括以下步驟：將采集的腦電信號(hào)經(jīng)特征提取后與誘發(fā)圖像刺激界面各誘發(fā)控制動(dòng)態(tài)圖像所對(duì)應(yīng)的基頻、倍頻的正弦信號(hào)和余弦信號(hào)以及用戶穩(wěn)態(tài)視覺誘發(fā)典型特征信號(hào)分別進(jìn)行典型相關(guān)分析并計(jì)算典型相關(guān)系數(shù)，根據(jù)計(jì)算的典型相關(guān)系數(shù)值中的最大值所對(duì)應(yīng)的誘發(fā)控制動(dòng)態(tài)圖像識(shí)別并確定用戶通過注視誘發(fā)圖像刺激界面而意圖發(fā)出的控制指令。

6.根據(jù)權(quán)利要求5所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法，其特征在于：所述典型特征信號(hào)是利用腦電信號(hào)特征分組訓(xùn)練對(duì)預(yù)先采集并經(jīng)過特征提取的用戶腦電信號(hào)進(jìn)行主成分分析而得到的。

7.根據(jù)權(quán)利要求1所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控方法，其特征在于：所述腦控方法還包括以下步驟：控制對(duì)象根據(jù)控制指令識(shí)別結(jié)果執(zhí)行相對(duì)應(yīng)的動(dòng)作；動(dòng)作過程作為環(huán)境信息與誘發(fā)圖像刺激界面一并反饋給用戶。

8.一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控系統(tǒng)，其特征在于：該腦控系統(tǒng)包括腦電信號(hào)采集設(shè)備、可融合控制對(duì)象的誘發(fā)圖像刺激界面以及基于視覺誘發(fā)信號(hào)特征提取和修正的特征辨識(shí)感知模塊；

所述腦電信號(hào)采集設(shè)備用于實(shí)時(shí)采集用戶注視誘發(fā)圖像刺激界面時(shí)的視覺枕葉區(qū)腦電信號(hào)；

所述誘發(fā)圖像刺激界面是以誘發(fā)控制動(dòng)態(tài)圖像以及含有控制對(duì)象的環(huán)境信息共同作為用戶視覺輸入的增強(qiáng)現(xiàn)實(shí)界面；

所述特征辨識(shí)感知模塊用于對(duì)采集的腦電信號(hào)進(jìn)行視覺誘發(fā)信號(hào)特征提取及基于用戶個(gè)人特征修正的相關(guān)分析，從而識(shí)別用戶通過注視誘發(fā)圖像刺激界面上的特定誘發(fā)控制動(dòng)態(tài)圖像而意圖發(fā)出的控制指令。

9.根據(jù)權(quán)利要求8所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控系統(tǒng)，其特征在于：所述誘發(fā)圖像刺激界面還包括控制指令識(shí)別反饋單元和控制指令執(zhí)行反饋背景單元；

所述控制指令識(shí)別反饋單元用于將根據(jù)所述特征辨識(shí)感知模塊識(shí)別的控制指令以文字形式反饋給用戶；

所述控制指令執(zhí)行反饋背景單元用于在控制對(duì)象根據(jù)所述特征辨識(shí)感知模塊的控制指令識(shí)別結(jié)果執(zhí)行相對(duì)應(yīng)的動(dòng)作時(shí)進(jìn)行視覺反饋。

10.根據(jù)權(quán)利要求9所述一種現(xiàn)實(shí)增強(qiáng)的自適應(yīng)動(dòng)態(tài)多場(chǎng)景誘發(fā)腦控系統(tǒng)，其特征在于：所述誘發(fā)圖像刺激界面中，與相應(yīng)控制對(duì)象的不同控制指令分別對(duì)應(yīng)的多個(gè)誘發(fā)控制動(dòng)態(tài)圖像以增強(qiáng)現(xiàn)實(shí)界面的中心點(diǎn)為基準(zhǔn)中心，分別位于該基準(zhǔn)中心外側(cè)不同位置，所述反饋背景單元覆蓋全部增強(qiáng)現(xiàn)實(shí)界面，以不同顯示顏色分別代表指令正在執(zhí)行與指令等待。