[發(fā)明專利]一種基于多模態(tài)融合的情緒分類識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110245153.2
• 申請(qǐng)日: 2021-03-05
• 公開(kāi)（公告）號(hào): CN112861778A
• 公開(kāi)（公告）日: 2021-05-28
• 發(fā)明（設(shè)計(jì)）人: 馬捃凱;湯平川;王勵(lì)燁;黃麗亞
• 申請(qǐng)（專利權(quán)）人: 南京郵電大學(xué);賽爾網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06F17/16;G06N20/10
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 王恒靜

1.一種基于多模態(tài)融合的情緒分類識(shí)別方法，其特征在于，包括：

(1)輸入單個(gè)數(shù)據(jù)的腦電信號(hào)，并對(duì)腦電信號(hào)預(yù)處理，所述腦電信號(hào)為多通道數(shù)字信號(hào)；

(2)選取M個(gè)電極作為腦網(wǎng)絡(luò)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)代表一個(gè)腦電信號(hào)，并計(jì)算各個(gè)節(jié)點(diǎn)之間的相位鎖定值，進(jìn)而得到腦網(wǎng)絡(luò)節(jié)點(diǎn)對(duì)應(yīng)的連接權(quán)重矩陣，矩陣維度為M*M；

(3)根據(jù)所述連接權(quán)重計(jì)算加權(quán)K-階傳播數(shù)，進(jìn)而得到每個(gè)節(jié)點(diǎn)的重要性排名；

(4)將腦網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)的重要性進(jìn)行融合；

(5)計(jì)算訓(xùn)練數(shù)據(jù)集中所有特征的F-score值，并利用F-score算法對(duì)融合后的特征進(jìn)行選擇，并對(duì)整個(gè)數(shù)據(jù)集進(jìn)行情緒分類。

2.根據(jù)權(quán)利要求1所述的基于多模態(tài)融合的情緒分類識(shí)別方法，其特征在于，所述步驟(2)中，相位鎖定值PLV表示為：

Δφ(t)＝φ_x(jΔt)-φ_y(jΔt)

其中，Δφ(t)表示信號(hào)x(t)和y(t)在采樣時(shí)間Δt內(nèi)的相位差，φ_x(jΔt)，φ_y(jΔt)分別為兩個(gè)信號(hào)x(t)和y(t)第j個(gè)樣本的瞬時(shí)相位，N是每個(gè)信號(hào)的樣本總數(shù)，i為虛部。

3.根據(jù)權(quán)利要求1所述的基于多模態(tài)融合的情緒分類識(shí)別方法，其特征在于，所述步驟(3)中，根據(jù)連接權(quán)重計(jì)算加權(quán)K-階傳播數(shù)，包括：

(31)根據(jù)連接權(quán)重矩陣得到節(jié)點(diǎn)之間的最短路徑矩陣D，D(v_i，v_j)表示網(wǎng)絡(luò)節(jié)點(diǎn)v_i到節(jié)點(diǎn)v_j的最短路徑；

(32)計(jì)算腦網(wǎng)絡(luò)在不同K值下的傳播數(shù)，K-階傳播數(shù)表示為：

其中，V為腦網(wǎng)絡(luò)中節(jié)點(diǎn)的集合，i≠j，且0≤i，j≤(M*M)；

(33)根據(jù)信息論中香農(nóng)熵理論定義網(wǎng)絡(luò)的K-階結(jié)構(gòu)熵：

K∈[0，d]

其中，n為網(wǎng)絡(luò)中節(jié)點(diǎn)的總數(shù)，d為腦網(wǎng)絡(luò)的最大直徑；

(34)計(jì)算不同K值下的權(quán)重：

(35)將傳播數(shù)與權(quán)重相乘進(jìn)行求和：

其中，S是結(jié)構(gòu)熵歸一化后的結(jié)果。表示為：

(36)對(duì)進(jìn)行排序，得到各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)的重要性。

4.根據(jù)權(quán)利要求3所述的基于多模態(tài)融合的情緒分類識(shí)別方法，其特征在于，所述步驟(4)中，腦網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)和節(jié)點(diǎn)的重要性進(jìn)行融合，具體為：

將基于PLV生成的M*M的腦網(wǎng)絡(luò)矩陣展開(kāi)成一維向量，然后與腦網(wǎng)絡(luò)節(jié)點(diǎn)重要性的一維向量進(jìn)行組合，將兩種模態(tài)的特征拼接成一個(gè)一維向量的特征。

5.根據(jù)權(quán)利要求4所述的基于多模態(tài)融合的情緒分類識(shí)別方法，其特征在于，所述步驟(5)中，特征選擇步驟如下：

(51)計(jì)算所有訓(xùn)練數(shù)據(jù)集中所有特征的F-score，接下來(lái)根據(jù)F-score對(duì)所有特征進(jìn)行降序排序，將重新排列后的特征集定義為F，并將特征集的子集F_sub初始化為空；將最佳分類結(jié)果定義為MaxR，也將其初始化為0；將最佳特征索引集合F_inx初始化為空；

(52)從F中選擇F-score最高的特征向量，將所選的向量添加到F_sub中，將n設(shè)置為F_sub中單個(gè)樣本的特征數(shù)；

(53)對(duì)F_sub進(jìn)行10折交叉驗(yàn)證，并平均分類準(zhǔn)確率為μ；

(54)如果μ比MaxR大，則用μ替換MaxR，并將F_inx作為F_sub的特征索引；

(55)重復(fù)步驟(52)-(54)直到n＞D，D為特征的總數(shù)；經(jīng)過(guò)上述步驟，能夠選擇出最佳的特征組。

6.根據(jù)權(quán)利要求5所述的基于多模態(tài)融合的情緒分類識(shí)別方法，其特征在于，所述步驟(5)中，對(duì)整個(gè)數(shù)據(jù)集情緒分類包括：

為了驗(yàn)證分類結(jié)果的隨機(jī)性，采用10折隨機(jī)交叉驗(yàn)證方法來(lái)評(píng)估分類性能，10折交叉驗(yàn)證重復(fù)10次，以平均分類準(zhǔn)確性作為評(píng)價(jià)指標(biāo)；

(56)將整個(gè)數(shù)據(jù)集分成10個(gè)子集，取9個(gè)作為訓(xùn)練集，剩余的作為測(cè)試集；

(57)根據(jù)F_inx中的索引選擇最優(yōu)的特征組合；

(58)利用訓(xùn)練集中的最優(yōu)特征對(duì)SVM/GELM進(jìn)行訓(xùn)練；

(59)利用測(cè)試集中的最優(yōu)特征進(jìn)行分類，具體分類包括正向情緒、中性情緒和負(fù)向情緒三種；

(510)重復(fù)步驟(56)～(59)十次，計(jì)算平均分類準(zhǔn)確性。