[發(fā)明專利]虛擬現(xiàn)實(shí)環(huán)境中三維靜態(tài)圖像的腦電信號(hào)識(shí)別系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011493152.1
• 申請(qǐng)日: 2020-12-17
• 公開（公告）號(hào): CN113111697B
• 公開（公告）日: 2023-07-28
• 發(fā)明（設(shè)計(jì)）人: 王曉甜;吳智澤;黨敏;苗垟;李燕;陳世宇
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號(hào): G06F18/10
• 分類號(hào): G06F18/10;G06N20/00
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;陳媛

本發(fā)明公開了一種虛擬現(xiàn)實(shí)環(huán)境中三維靜態(tài)圖像的腦電信號(hào)識(shí)別系統(tǒng)及方法。該系統(tǒng)通過(guò)三維靜態(tài)圖像構(gòu)建模塊、腦電信號(hào)采集模塊、機(jī)器學(xué)習(xí)模型訓(xùn)練模塊和腦電信號(hào)識(shí)別模塊。具體方法步驟包括：構(gòu)建了包括刺激目標(biāo)和非刺激目標(biāo)的三維靜態(tài)圖像，采集被試者在三維虛擬現(xiàn)實(shí)環(huán)境中的腦電信號(hào)，訓(xùn)練機(jī)器學(xué)習(xí)模型，對(duì)腦電信號(hào)進(jìn)行識(shí)別。本發(fā)明克服了現(xiàn)有技術(shù)中被試者易受到其他事物干擾導(dǎo)致采集到的腦電信號(hào)中包含噪聲，刺激圖片失真導(dǎo)致采集到的腦電信號(hào)為無(wú)效腦電信號(hào)的問題，使得本發(fā)明采集到的腦電信號(hào)包含噪聲更少并且是有效的腦電信號(hào)，提高了腦電信號(hào)識(shí)別結(jié)果的精度和腦電信號(hào)采集的效率。

技術(shù)領(lǐng)域

本發(fā)明屬于信息處理技術(shù)領(lǐng)域，更進(jìn)一步涉及腦-機(jī)接口技術(shù)領(lǐng)域中的一種虛擬現(xiàn)實(shí)環(huán)境中三維靜態(tài)圖像的腦電信號(hào)識(shí)別系統(tǒng)及方法。本發(fā)明可在虛擬現(xiàn)實(shí)環(huán)境下識(shí)別人的腦電信號(hào)。

背景技術(shù)

腦-機(jī)接口BCI(Brain-Computer?Interface)技術(shù)實(shí)現(xiàn)了利用工程技術(shù)手段讓思想付諸行動(dòng)的對(duì)外信息交流和控制的新途徑，是一種涉及醫(yī)學(xué)、神經(jīng)學(xué)、信號(hào)檢測(cè)、信號(hào)處理、模式識(shí)別等多個(gè)領(lǐng)域的交叉技術(shù)。BCI系統(tǒng)通過(guò)采集大腦的信息并直接轉(zhuǎn)換成能夠驅(qū)動(dòng)外部設(shè)備的命令，代替人的肢體或語(yǔ)言器官實(shí)現(xiàn)人與外界的交流以及控制外部設(shè)備。

天津大學(xué)在其申請(qǐng)的專利文獻(xiàn)“融合復(fù)雜網(wǎng)絡(luò)和圖卷積的腦控康復(fù)系統(tǒng)運(yùn)動(dòng)想象識(shí)別系統(tǒng)”(專利申請(qǐng)?zhí)朇N202010364649.7，申請(qǐng)公開號(hào)CN111584027A)中公開了一種融合復(fù)雜網(wǎng)絡(luò)和圖卷積的腦控康復(fù)系統(tǒng)運(yùn)動(dòng)想象識(shí)別系統(tǒng)。該系統(tǒng)包括運(yùn)動(dòng)意圖識(shí)別模塊、肌電信號(hào)采集模塊和多通道電刺激輸出模塊。運(yùn)動(dòng)意圖識(shí)別模塊用于被試者分別觀看手部握拳與手部伸展視頻的同時(shí)對(duì)視頻相應(yīng)動(dòng)作進(jìn)行想象，通過(guò)腦電信號(hào)采集設(shè)備采集被試者的腦電信號(hào)。肌電信號(hào)采集模塊用于對(duì)被試者上肢施加電刺激，采集電刺激后的肌電信號(hào)。多通道電刺激輸出模塊用于根據(jù)從運(yùn)動(dòng)意圖識(shí)別模塊接收的分類結(jié)果和電刺激后的肌電信號(hào)生成控制指令，控制多通道電刺激輸出模塊對(duì)被試者上肢進(jìn)行刺激。該系統(tǒng)存在的不足之處是：由于運(yùn)動(dòng)意圖識(shí)別模塊中，被試者觀看視頻時(shí)容易受到視頻內(nèi)容之外的其他事物干擾，導(dǎo)致采集到的腦電信號(hào)中包含噪聲。

北京郵電大學(xué)在其申請(qǐng)的專利文獻(xiàn)“一種基于RSVP范式的腦-機(jī)結(jié)合目標(biāo)檢測(cè)方法及系統(tǒng)”(專利申請(qǐng)?zhí)朇N202010412626.9，申請(qǐng)公開號(hào)CN111597990A)中公開了一種基于RSVP范式的腦-機(jī)結(jié)合目標(biāo)檢測(cè)方法及系統(tǒng)。該專利申請(qǐng)公開的系統(tǒng)包括航拍圖接收模塊、刺激圖片序列生成模塊、腦電信號(hào)采集模塊和腦電信號(hào)識(shí)別模塊。航拍圖接收模塊用于接收無(wú)人機(jī)回傳的航拍圖。刺激圖片序列生成模塊用于采用圖片切割算法對(duì)所述航拍圖進(jìn)行切割，得到刺激圖片序列。腦電信號(hào)采集模塊用于向被試連續(xù)呈現(xiàn)所述刺激圖片序列，獲取被試者的腦電信號(hào)。腦電信號(hào)識(shí)別模塊用于利用訓(xùn)練好的HDCA算法模型分別對(duì)每張刺激圖片所對(duì)應(yīng)的腦電信號(hào)進(jìn)行識(shí)別，得到識(shí)別結(jié)果為目標(biāo)圖片和非目標(biāo)圖片。該專利申請(qǐng)公開的方法包括以下步驟：(1)接收無(wú)人機(jī)回傳的航拍圖；(2)采用網(wǎng)格法對(duì)航拍圖進(jìn)行切割，得到刺激圖片序列；(3)向被試者連續(xù)呈現(xiàn)刺激圖片序列，獲取被試者的腦電信號(hào)。該方法存在的不足之處是：由于刺激圖片序列是采用網(wǎng)格法對(duì)航拍圖片進(jìn)行切割得到的，導(dǎo)致刺激圖片容易失真，使得采集到的腦電信號(hào)為無(wú)效腦電信號(hào)，降低了腦電信號(hào)識(shí)別的精度。

發(fā)明內(nèi)容

本發(fā)明的目的在于針對(duì)上述現(xiàn)有技術(shù)的不足，提出一種虛擬現(xiàn)實(shí)環(huán)境中三維靜態(tài)圖像的腦電信號(hào)識(shí)別系統(tǒng)及方法，用于解決被試者受到其他事物干擾導(dǎo)致采集到的腦電信號(hào)中包含噪聲，刺激圖片失真導(dǎo)致腦電信號(hào)識(shí)別精度降低的問題。

實(shí)現(xiàn)本發(fā)明目的的思路是：在三維虛擬現(xiàn)實(shí)環(huán)境中采集被試者的腦電信號(hào)，被試者只能看到三維靜態(tài)目標(biāo)圖像，減少了采集到的腦電信號(hào)中包含的噪聲；構(gòu)建了包括刺激目標(biāo)和非刺激目標(biāo)的至少60張圖像，每張均為三維靜態(tài)圖像，目標(biāo)圖像不容易產(chǎn)生失真，使得采集到的腦電信號(hào)為有效腦電信號(hào)，提高了三維靜態(tài)刺激目標(biāo)圖像對(duì)應(yīng)的腦電信號(hào)識(shí)別的精度。

本發(fā)明的腦電信號(hào)識(shí)別系統(tǒng)，包括三維靜態(tài)圖像構(gòu)建模塊、腦電信號(hào)識(shí)別模塊、機(jī)器學(xué)習(xí)模型訓(xùn)練模塊和腦電信號(hào)采集模塊，其中：