[發(fā)明專利]一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211452216.2
• 申請(qǐng)日: 2022-11-21
• 公開(kāi)（公告）號(hào): CN115708687A
• 公開(kāi)（公告）日: 2023-02-24
• 發(fā)明（設(shè)計(jì)）人: 鄧欣;王中寅;肖斌;劉柯;高紅偉;樊旭峰;孫開(kāi)偉
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): A61B5/369
• 分類號(hào): A61B5/369;A61B5/372;A61B5/398;A61B5/00;G06F18/2134;G06F18/2415;G06F18/23;G06V10/764;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/048;G0
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 盧勝斌

本發(fā)明屬于腦機(jī)接口領(lǐng)域，具體涉及一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法及系統(tǒng)，該方法包括：首先處理由腦電儀器采集得到的由視覺(jué)刺激誘發(fā)的腦電數(shù)據(jù)，并利用人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)腦電信號(hào)中的可分類特征形成腦電特征編碼；利用預(yù)訓(xùn)練的圖像分類模型提取視覺(jué)刺激對(duì)應(yīng)的圖像特征編碼，并通過(guò)編碼信息和類別信息訓(xùn)練得到一個(gè)可以生成圖像的生成器模型；通過(guò)訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)構(gòu)建對(duì)應(yīng)類別的腦電特征分布和圖像特征分布間的映射關(guān)系；通過(guò)端到端的方式構(gòu)建腦電特征與圖像特征的映射關(guān)系，從而實(shí)現(xiàn)基于腦電信號(hào)重建圖像刺激的方法；本發(fā)明提高了訓(xùn)練的并行度，使得整個(gè)方法識(shí)別率高，訓(xùn)練難度小，訓(xùn)練速度快。

技術(shù)領(lǐng)域

本發(fā)明屬于腦機(jī)接口視覺(jué)圖像重建領(lǐng)域，具體涉及一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法及系統(tǒng)。

背景技術(shù)

隨著認(rèn)知神經(jīng)科學(xué)的不斷發(fā)展，過(guò)去出現(xiàn)在科幻小說(shuō)中的“讀心術(shù)”現(xiàn)在已經(jīng)成為現(xiàn)實(shí)。通過(guò)神經(jīng)影像技術(shù)，人們可以觀察各種認(rèn)知任務(wù)下的大腦活動(dòng)狀態(tài)，從而學(xué)習(xí)認(rèn)知行為與大腦活動(dòng)之間的神經(jīng)編碼邏輯。腦電圖(Electroencephalogram，EEG)是一種成熟的神經(jīng)影像技術(shù)，已經(jīng)被廣泛用于解碼情緒，運(yùn)動(dòng)想象等認(rèn)知活動(dòng)，但是在圖像重建領(lǐng)域依然處于探索階段。目前領(lǐng)域內(nèi)的圖像重建方法基本依賴于傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)，這種方法存在傳統(tǒng)卷積結(jié)構(gòu)對(duì)空間位置不敏感而損失特征信息，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜導(dǎo)致訓(xùn)練難度大耗時(shí)長(zhǎng)，訓(xùn)練數(shù)據(jù)量受實(shí)驗(yàn)難度局限等問(wèn)題。

發(fā)明內(nèi)容

為解決上述技術(shù)問(wèn)題，本發(fā)明提出一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法及系統(tǒng)，包括：

一方面，本發(fā)明提供一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，包括以下步驟：

S1：獲取用戶觀察刺激圖像時(shí)的腦電信號(hào)和眼電信號(hào)，并通過(guò)眼電信號(hào)對(duì)腦電信號(hào)進(jìn)行預(yù)處理，得到視覺(jué)腦電信號(hào)；

S2：構(gòu)建腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)，并對(duì)腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

S3：通過(guò)訓(xùn)練后的腦電數(shù)據(jù)編碼網(wǎng)絡(luò)對(duì)視覺(jué)腦電信號(hào)進(jìn)行腦電特征編碼，并根據(jù)編碼后的腦電特征進(jìn)行類別識(shí)別；

S4：通過(guò)訓(xùn)練后的圖像編碼網(wǎng)絡(luò)對(duì)刺激圖像進(jìn)行圖像特征編碼，并根據(jù)編碼后的圖像特征進(jìn)行類別識(shí)別；

S5：通過(guò)訓(xùn)練后的映射網(wǎng)絡(luò)建立對(duì)應(yīng)類別的腦電特征分布和圖像特征分布間的映射關(guān)系，根據(jù)對(duì)應(yīng)類別的腦電特征分布和圖像特征分布間的映射關(guān)系通過(guò)訓(xùn)練后的圖像網(wǎng)絡(luò)生成重建圖像。

優(yōu)選的，對(duì)腦電信號(hào)進(jìn)行預(yù)處理，包括：

對(duì)原始腦電信號(hào)使用Butterworth低通濾波器濾去頻段在70Hz以上的信號(hào)，并使用獨(dú)立成分分析方法結(jié)合眼電信號(hào)去除腦電信號(hào)中的眼電偽跡；對(duì)去除眼電后的信號(hào)使用Butterworth帶通濾波器截取了頻段在1～40Hz之間的信號(hào)；對(duì)濾波后的信號(hào)進(jìn)行降采樣將信號(hào)頻率將至250Hz；對(duì)降采樣后的信號(hào)進(jìn)行切片處理，截取保留刺激出現(xiàn)后0.5s以內(nèi)的信號(hào)段。

優(yōu)選的，構(gòu)建腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)，包括：

所述腦電數(shù)據(jù)編碼網(wǎng)絡(luò)，包括：編碼器和分類器，編碼器包括卷積模塊、膠囊模塊；

所述圖像編碼網(wǎng)絡(luò)，包括：編碼器和分類器；

所述映射網(wǎng)絡(luò)：一層全連接層作為隱藏層的淺層神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)；

所述圖像生成網(wǎng)絡(luò)，包括：圖像生成器。

優(yōu)選的，對(duì)腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)進(jìn)行訓(xùn)練，包括：