[發(fā)明專利]基于圖片生成的腦電信號(hào)情感識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201910747637.X
• 申請(qǐng)日: 2019-08-14
• 公開（公告）號(hào): CN110353675B
• 公開（公告）日: 2022-06-28
• 發(fā)明（設(shè)計(jì)）人: 鄭文明;宋騰飛;劉素媛;宗源
• 申請(qǐng)（專利權(quán)）人: 東南大學(xué)
• 主分類號(hào): A61B5/369
• 分類號(hào): A61B5/369;A61B5/16;G06V10/764;G06V10/82;G06V10/774;G06V10/80
• 代理公司: 南京蘇高專利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 馮艷芬

本發(fā)明公開了一種基于圖片生成的腦電信號(hào)情感識(shí)別方法，其中方法包括：(1)獲取用戶處于不同情感時(shí)的原始腦電信號(hào)；(2)將原始腦電信號(hào)去噪后通過帶通濾波器提取多個(gè)頻段信號(hào)，并計(jì)算每個(gè)頻段信號(hào)的微分熵作為腦電特征；(3)將每個(gè)腦電特征數(shù)據(jù)通過插值生成一張圖片，將所有生成的圖片串接起來作為腦電特征圖片；(4)構(gòu)建情感判別網(wǎng)絡(luò)，包括主分支、注意力分支、特征提取單元、圖卷積分支和全連接層；(5)將腦電特征圖片輸入所述情感判別網(wǎng)絡(luò)進(jìn)行訓(xùn)練；(6)按照步驟(1)?(3)提取待識(shí)別腦電信號(hào)的腦電特征圖片，并輸入到訓(xùn)練好的情感判別網(wǎng)絡(luò)，選取概率最大的情感類別作為識(shí)別的情感類型。本發(fā)明識(shí)別準(zhǔn)確率更高。

技術(shù)領(lǐng)域

本發(fā)明涉及情感識(shí)別技術(shù)，尤其涉及一種基于圖片生成的腦電信號(hào)情感識(shí)別方法及裝置。

背景技術(shù)

隨著人工智能技術(shù)的發(fā)展，人機(jī)交互也獲得更多關(guān)注，其中關(guān)于情感判別分析是重要的組成部分。關(guān)于情感判別分析，常用的有表情、語音等方法，生理信號(hào)如腦電信號(hào)、心電信號(hào)等因其真實(shí)可靠而受到關(guān)注。腦電信號(hào)因識(shí)別準(zhǔn)確率更高，獲得更多的研究。但是當(dāng)前腦電情感識(shí)別的效果還是不夠理想。

發(fā)明內(nèi)容

發(fā)明目的：本發(fā)明針對(duì)現(xiàn)有技術(shù)存在的問題，提供一種基于圖片生成的腦電信號(hào)情感識(shí)別方法和裝置，識(shí)別準(zhǔn)確率更高。

技術(shù)方案：本發(fā)明所述的基于圖片生成的腦電信號(hào)情感識(shí)別方法，該方法包括：

(1)獲取用戶處于不同情感時(shí)的原始腦電信號(hào)，所述原始腦電信號(hào)通過腦電采集設(shè)備的多個(gè)信號(hào)采集電極分布于用戶的腦部不同位置進(jìn)行采集得到；

(2)將原始腦電信號(hào)去噪后通過帶通濾波器提取多個(gè)頻段信號(hào)，并計(jì)算每個(gè)頻段信號(hào)的微分熵作為腦電特征；

(3)將每個(gè)腦電特征數(shù)據(jù)通過插值生成一張圖片，將所有生成的圖片串接起來，作為腦電特征圖片；

(4)構(gòu)建情感判別網(wǎng)絡(luò)，所述情感判別網(wǎng)絡(luò)包括主分支、注意力分支、特征提取單元、圖卷積分支和全連接層，所述主分支用于采用卷積神經(jīng)網(wǎng)絡(luò)從腦電特征圖片中獲取初級(jí)特征，所述注意力分支用于生成一個(gè)與主分支輸出大小一致的掩膜，所述特征提取單元用于采用掩膜從初級(jí)特征中提取局部特征，所述圖卷積分支用于對(duì)局部特征采用圖卷積得到全局特征，并根據(jù)殘差結(jié)構(gòu)將局部特征與全局特征融合以及拼接，得到混合特征，所述全連接層用于將混合特征作為輸入，計(jì)算得到每個(gè)情感類別的概率；

(5)將腦電特征圖片輸入所述情感判別網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的情感判別網(wǎng)絡(luò)；

(6)按照步驟(1)-(3)提取待識(shí)別腦電信號(hào)的腦電特征圖片，并輸入到訓(xùn)練好的情感判別網(wǎng)絡(luò)，輸出為每個(gè)情感類別對(duì)應(yīng)的概率值，選取概率最大的情感類別作為識(shí)別的情感類型。

進(jìn)一步的，步驟(3)具體包括：

將每個(gè)腦電特征數(shù)據(jù)通過Sibson插值生成一張n*n像素的圖片，n為大于等于28小于等于128的偶數(shù)；

將所有圖片串接起來，得到一個(gè)n*n*m像素的腦電特征圖片，其中，m為腦電特征的個(gè)數(shù)。

進(jìn)一步的，步驟(4)中所述主分支的輸入為腦電特征圖片，具體包括依次連接的由4層卷積層級(jí)聯(lián)形成的第一卷積層組、第一最大池化層、由2層卷積層級(jí)聯(lián)形成的第二卷積層組、第二最大池化層、第三卷積層和第三最大池化層，最終輸出大小為H*W*C的圖片，作為初級(jí)特征，其中，所有卷積層均為3*3大小的卷積核，H、W分別為圖片的高和寬，C為通道數(shù)。