[發(fā)明專利]基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法及腦機(jī)系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111674867.1
• 申請(qǐng)日: 2021-12-31
• 公開（公告）號(hào): CN114469090A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計(jì)）人: 朱莉;張建海;孔萬增;戴瑋辰;李俊華;崔高超
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): A61B5/16
• 分類號(hào): A61B5/16;A61B5/369;A61B5/378;A61B5/38;A61B5/00;G06F3/01;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，包括以下步驟：

步驟一、向m個(gè)訓(xùn)練人員提供多個(gè)情感誘發(fā)任務(wù)，m≥2；該多個(gè)情感誘發(fā)任務(wù)包含所有的n個(gè)細(xì)粒度情感類別，n≥4；

步驟二、在各訓(xùn)練人員進(jìn)行情感誘發(fā)任務(wù)的同時(shí)采集腦電信號(hào)，獲得訓(xùn)練人員在執(zhí)行每個(gè)情感誘發(fā)任務(wù)時(shí)的腦電信號(hào)；并將所有腦電信號(hào)向主控電腦發(fā)出傳遞請(qǐng)求進(jìn)程，進(jìn)行同步傳遞，一次腦電數(shù)據(jù)采集中，每個(gè)訓(xùn)練人員均提取P個(gè)通道數(shù)據(jù)，m個(gè)訓(xùn)練者共計(jì)采集到P*m個(gè)通道數(shù)據(jù)；

步驟三、分別對(duì)步驟二采集到的各個(gè)訓(xùn)練人員的腦電數(shù)據(jù)進(jìn)行預(yù)處理；并對(duì)腦電信號(hào)打上對(duì)應(yīng)的情感類別標(biāo)簽，形成訓(xùn)練集；

步驟四、計(jì)算訓(xùn)練集中的各訓(xùn)練人員的腦電數(shù)據(jù)間的耦合關(guān)系矩陣，得到各情感誘發(fā)任務(wù)對(duì)應(yīng)的訓(xùn)練用腦電耦合關(guān)系特征；

步驟五、用分類器對(duì)帶有標(biāo)簽的訓(xùn)練用腦電耦合關(guān)系特征進(jìn)行訓(xùn)練；

步驟六、m個(gè)訓(xùn)練人員觀看同一個(gè)情感誘發(fā)刺激圖片，并執(zhí)行步驟二、步驟三和步驟四，提取得到跨腦耦合關(guān)系特征；

將跨腦腦電耦合關(guān)系特征導(dǎo)入步驟五訓(xùn)練好的分類器中進(jìn)行分類判斷，獲取m個(gè)訓(xùn)練者感知到的情感類別。

2.根據(jù)權(quán)利要求1所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，所述的步驟一中，每個(gè)情感誘發(fā)任務(wù)的任務(wù)提示時(shí)間0.5s，情感刺激播放時(shí)間為2s，兩個(gè)情感誘發(fā)任務(wù)之間存在時(shí)間間隔。

3.根據(jù)權(quán)利要求1所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，所述的步驟二中，采用64電極的Neuroscan設(shè)備來獲取腦電數(shù)據(jù)，采樣頻率為1000Hz；訓(xùn)練人員腦電數(shù)據(jù)所使用的通道數(shù)P為14，該14個(gè)通道分別為Neuroscan設(shè)備中的FP1、FPZ、FP2、AF3、AF4、F7、F5、F3、F1、FZ、F2、F4、F6和F8。

4.根據(jù)權(quán)利要求1所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，所述的步驟三中的預(yù)處理包括帶通濾波、共平均參考和盲源分離；

帶通濾波：創(chuàng)建帶通濾波器，從選取的腦電數(shù)據(jù)中提取2-50Hz頻段的腦電成分；

共平均參考：計(jì)算濾波后的14個(gè)通道腦電數(shù)據(jù)的平均值，并將每個(gè)腦電通道的數(shù)據(jù)減去該平均值；

盲源分離：去除眼動(dòng)和心電偽跡。

5.根據(jù)權(quán)利要求1所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，所述的步驟四中，腦電數(shù)據(jù)的耦合關(guān)系計(jì)算采用如下方法：將m個(gè)訓(xùn)練者兩兩之間，形成m*(m-1)/2個(gè)訓(xùn)練人員對(duì)；對(duì)每個(gè)訓(xùn)練人員對(duì)，2P個(gè)通道數(shù)據(jù)進(jìn)行不含自我配對(duì)的兩兩一組任意配對(duì)，得到P²個(gè)通道對(duì)；P²個(gè)通道對(duì)對(duì)應(yīng)的相位相干值形成相位相干性耦合特征矩陣，m*(m-1)/2個(gè)訓(xùn)練人員對(duì)形成m*(m-1)/2個(gè)耦合特征矩陣。

6.根據(jù)權(quán)利要求1或5所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，所述的步驟四中，腦電數(shù)據(jù)的耦合關(guān)系計(jì)算采用如下方法：將m個(gè)被測(cè)者的腦電數(shù)據(jù)組織成1個(gè)張量，該張量的維度為通道數(shù)(P)×樣本點(diǎn)(2×采樣頻率)×訓(xùn)練人員(m)，再進(jìn)行Tucker分解，得到跨腦腦電的耦合特征。

7.根據(jù)權(quán)利要求1所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，所述的步驟五中所述的分類器采用包括四個(gè)卷積層、四個(gè)池化層的深度卷積神經(jīng)網(wǎng)絡(luò)；將腦電耦合關(guān)系特征輸入到分類器后，進(jìn)行分類，輸出結(jié)果。

8.根據(jù)權(quán)利要求6所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，Tucker分解的分解公式如下：

其中，是原始的數(shù)據(jù)張量，是核張量，是模-n因子矩陣，n＝1,…N。

9.一種跨腦耦合關(guān)系計(jì)算的在線腦機(jī)接口系統(tǒng)適用于權(quán)利要求1所述的基于跨腦耦合關(guān)系計(jì)算的腦電情感識(shí)別方法，其特征在于，包括：主控中央處理單元PC1、情感刺激呈現(xiàn)中央處理單元PC2、腦電采集中央處理單元PC3、中央處理單元PC4；

中央處理單元PC1中包括：多人腦電數(shù)據(jù)同步接收模塊、預(yù)處理模塊、耦合關(guān)系特征計(jì)算模塊、分類識(shí)別模塊和可視化模塊；

多人腦電數(shù)據(jù)同步接收模塊同步接受了多訓(xùn)練人員帶有情感標(biāo)簽的腦電數(shù)據(jù)，再傳輸?shù)浇o預(yù)處理模塊進(jìn)行預(yù)處理；

特征計(jì)算模塊對(duì)打上標(biāo)簽的腦電數(shù)據(jù)進(jìn)行耦合關(guān)系特征的計(jì)算；

分類識(shí)別模塊對(duì)耦合關(guān)系特征計(jì)算模塊生成的特征進(jìn)行訓(xùn)練，并在訓(xùn)練后進(jìn)行情感類別的識(shí)別，再將識(shí)別結(jié)果顯示到可視化模塊上；

中央處理單元PC2向各訓(xùn)練人員提供情感誘發(fā)任務(wù)；

中央處理單元PC3和PC4設(shè)置有打標(biāo)簽?zāi)K，對(duì)采集到的腦電信號(hào)，打上對(duì)應(yīng)于PC2的情感誘發(fā)任務(wù)標(biāo)簽。