[發(fā)明專利]一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202211452216.2
• 申請日: 2022-11-21
• 公開（公告）號: CN115708687A
• 公開（公告）日: 2023-02-24
• 發(fā)明（設(shè)計）人: 鄧欣;王中寅;肖斌;劉柯;高紅偉;樊旭峰;孫開偉
• 申請（專利權(quán)）人: 重慶郵電大學
• 主分類號: A61B5/369
• 分類號: A61B5/369;A61B5/372;A61B5/398;A61B5/00;G06F18/2134;G06F18/2415;G06F18/23;G06V10/764;G06V10/82;G06N3/045;G06N3/0464;G06N3/0475;G06N3/048;G0
• 代理公司: 重慶輝騰律師事務(wù)所 50215
• 代理人: 盧勝斌

1.一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，其特征在于，包括：

S1：獲取用戶觀察刺激圖像時的腦電信號和眼電信號，并通過眼電信號對腦電信號進行預處理，得到視覺腦電信號；

S2：構(gòu)建腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)，并對腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)進行訓練；

S3：通過訓練后的腦電數(shù)據(jù)編碼網(wǎng)絡(luò)對視覺腦電信號進行腦電特征編碼，并根據(jù)編碼后的腦電特征進行類別識別；

S4：通過訓練后的圖像編碼網(wǎng)絡(luò)對刺激圖像進行圖像特征編碼，并根據(jù)編碼后的圖像特征進行類別識別；

S5：通過訓練后的映射網(wǎng)絡(luò)建立對應(yīng)類別的腦電特征分布和圖像特征分布間的映射關(guān)系，根據(jù)對應(yīng)類別的腦電特征分布和圖像特征分布間的映射關(guān)系通過訓練后的圖像網(wǎng)絡(luò)生成重建圖像。

2.根據(jù)權(quán)利要求1所述的一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，其特征在于，對腦電信號進行預處理，包括：

對原始腦電信號使用Butterworth低通濾波器濾去頻段在70Hz以上的信號，并使用獨立成分分析方法結(jié)合眼電信號去除腦電信號中的眼電偽跡；對去除眼電后的信號使用Butterworth帶通濾波器截取了頻段在1～40Hz之間的信號；對濾波后的信號進行降采樣將信號頻率將至250Hz；對降采樣后的信號進行切片處理，截取保留刺激出現(xiàn)后0.5s以內(nèi)的信號段。

3.根據(jù)權(quán)利要求1所述的一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，其特征在于，構(gòu)建腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)，包括：

所述腦電數(shù)據(jù)編碼網(wǎng)絡(luò)，包括：編碼器和分類器，編碼器包括卷積模塊、膠囊模塊；

所述圖像編碼網(wǎng)絡(luò)，包括：編碼器和分類器；

所述映射網(wǎng)絡(luò)：一層全連接層作為隱藏層的淺層神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)；

所述圖像生成網(wǎng)絡(luò)，包括：圖像生成器。

4.根據(jù)權(quán)利要求1所述的一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，其特征在于，對腦電數(shù)據(jù)編碼網(wǎng)絡(luò)、圖像編碼網(wǎng)絡(luò)、映射網(wǎng)絡(luò)和圖像生成網(wǎng)絡(luò)進行訓練，包括：

將imagenet數(shù)據(jù)集中的圖像數(shù)據(jù)分為訓練集和驗證集，將訓練數(shù)據(jù)集分別輸入到各個網(wǎng)絡(luò)中得到訓練結(jié)果，根據(jù)訓練結(jié)果使用各個網(wǎng)絡(luò)的損失函數(shù)計算誤差值，并通過反向傳播算法對各個網(wǎng)絡(luò)參數(shù)進行訓練；將驗證集輸入到訓練后的各個網(wǎng)絡(luò)中得到實際結(jié)果；確定實際結(jié)果是否達到預期效果，即網(wǎng)絡(luò)在過擬合現(xiàn)象發(fā)生時達到的最佳效果優(yōu)于基線網(wǎng)絡(luò)的最佳效果；當所述實際結(jié)果達到預期效果時，固定網(wǎng)絡(luò)參數(shù)得到訓練完成后的各個網(wǎng)絡(luò)。

5.根據(jù)權(quán)利要求1所述的一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，其特征在于，通過訓練后的腦電數(shù)據(jù)編碼網(wǎng)絡(luò)對視覺腦電信號進行腦電特征編碼，并根據(jù)編碼后的腦電特征進行類別識別，包括：

將視覺腦電信號輸入卷積模塊，提取視覺腦電的淺層特征信息，對視覺腦電的淺層特征信息進行編碼，得到淺層的腦電信號特征編碼；將淺層腦電信號特征編碼輸入膠囊模塊，提取視覺腦電的深層特征信息，對視覺腦電的深層特征信息進行編碼，得到深層的腦電信號特征編碼；將深層的腦電信號特征編碼輸入分類器，得到對應(yīng)類別的編碼向量，計算對應(yīng)類別的編碼向量的長度得到分類概率編碼，選取概率最高的類別得到分類結(jié)果。

6.根據(jù)權(quán)利要求1所述的一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，其特征在于，通過訓練后的圖像編碼網(wǎng)絡(luò)對刺激圖像進行圖像特征編碼，并根據(jù)編碼后的圖像特征進行類別識別，包括：

將刺激圖像輸入訓練后的圖像編碼網(wǎng)絡(luò)，通過編碼器對刺激圖像進行圖像特征編碼，將編碼后的圖像特征輸入分類器，得到分類結(jié)果。

7.根據(jù)權(quán)利要求1所述的一種基于人工神經(jīng)網(wǎng)絡(luò)的刺激圖像重建方法，其特征在于，通過訓練后的映射網(wǎng)絡(luò)建立對應(yīng)類別的腦電特征分布和圖像特征分布間的映射關(guān)系，包括：

使用聚類算法計算對應(yīng)類別的腦電特征分布和圖像特征分布的聚類中心，將對應(yīng)類別的腦電特征分布和圖像特征分布的聚類中心輸入映射網(wǎng)絡(luò)，得到映射后的腦電特征分布和圖像特征分布的聚類中心向量。