[發(fā)明專利]一種基于腦電信號的殘差特征金字塔情感識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210855623.1
• 申請日: 2022-07-20
• 公開（公告）號: CN115204232A
• 公開（公告）日: 2022-10-18
• 發(fā)明（設(shè)計）人: 高強;侯法政;宋雨;劉俊杰;毛澤民
• 申請（專利權(quán)）人: 天津理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京高沃律師事務(wù)所 11569
• 代理人: 杜陽陽

本發(fā)明公開了一種基于腦電信號的殘差特征金字塔情感識別方法及系統(tǒng)，涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，該方法包括：獲取按照國際10?20系統(tǒng)放置的腦電圖電極采集的待測試者的腦電圖數(shù)據(jù)；構(gòu)建待測試者的腦電圖數(shù)據(jù)的特征矩陣，并對特征矩陣進(jìn)行融合，得到融合矩陣；構(gòu)建基于殘差雙向特征金字塔的情感識別模型；情感識別模型包括空間轉(zhuǎn)深度結(jié)構(gòu)、殘差結(jié)構(gòu)和雙向特征金字塔結(jié)構(gòu)；將融合矩陣輸入至訓(xùn)練好的情感識別模型中，得到待測試者的情感類別。本發(fā)明能夠捕獲空間的腦電表示信息以及腦電上下文信息，減少模型訓(xùn)練時的計算量，以及融合高級語義信息與低級空間信息，克服網(wǎng)絡(luò)深度增加網(wǎng)絡(luò)退化的問題。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，特別是涉及一種基于腦電信號的殘差特征金字塔情感識別方法及系統(tǒng)。

背景技術(shù)

情感識別旨在通過賦予計算機識別、理解和適應(yīng)人的情感的能力來建立和諧的人機環(huán)境。隨著非侵入式傳感技術(shù)、機器學(xué)習(xí)算法和計算機的計算能力等技術(shù)的飛速發(fā)展帶動了認(rèn)知科學(xué)的前進(jìn)，情感識別作為認(rèn)知科學(xué)的前沿領(lǐng)域得到了眾多學(xué)者們的關(guān)注。盡管已經(jīng)越來越多的情感識別方法被提出，但目前仍然存在兩個問題。一是時域、頻域或時頻域特征只考慮了一定時間內(nèi)情緒的上下文相關(guān)性，忽略了腦電信號的空間表征特征；而空間域特征忽略了情緒狀態(tài)的上下文相關(guān)性；另一個是隨著網(wǎng)絡(luò)層數(shù)的不斷加深，模型所需的計算量也相對增加，此外，一味的特征降維在一定程度上也會忽略部分腦電表示特征信息。因此，亟需一種情感識別的方法能夠捕獲空間的腦電表示信息以及腦電上下文信息，減少計算量，以及融合高級語義信息與低級空間信息，克服網(wǎng)絡(luò)深度增加網(wǎng)絡(luò)退化的問題。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于腦電信號的殘差特征金字塔情感識別方法及系統(tǒng)，能夠捕獲空間的腦電表示信息以及腦電上下文信息，減少模型訓(xùn)練時的計算量，以及融合高級語義信息與低級空間信息，克服網(wǎng)絡(luò)深度增加網(wǎng)絡(luò)退化的問題。

為實現(xiàn)上述目的，本發(fā)明提供了如下方案：

一種基于腦電信號的殘差特征金字塔情感識別方法，所述方法包括：

獲取按照國際10-20系統(tǒng)放置的腦電圖電極采集的待測試者的腦電圖數(shù)據(jù)；

構(gòu)建所述待測試者的腦電圖數(shù)據(jù)的特征矩陣，并對所述特征矩陣進(jìn)行融合，得到融合矩陣；所述特征矩陣包括初始矩陣、左右腦區(qū)對稱差矩陣、左右腦區(qū)對稱商矩陣和微分熵矩陣；

構(gòu)建基于殘差雙向特征金字塔的情感識別模型；所述情感識別模型包括空間轉(zhuǎn)深度結(jié)構(gòu)、殘差結(jié)構(gòu)和雙向特征金字塔結(jié)構(gòu)；

將所述融合矩陣輸入至訓(xùn)練好的情感識別模型中，得到待測試者的情感類別；所述情感類別包括快樂、憤怒、激勵、悲傷、平靜、恐懼。

可選地，所述情感識別模型的訓(xùn)練過程包括：

獲取按照國際10-20系統(tǒng)放置的腦電圖電極采集的受試者的腦電圖數(shù)據(jù)；

構(gòu)建所述受試者的腦電圖數(shù)據(jù)的特征矩陣；

對所述受試者的腦電圖數(shù)據(jù)的特征矩陣進(jìn)行融合，得到所述受試者的腦電圖數(shù)據(jù)的融合矩陣；

以所述受試者的腦電圖數(shù)據(jù)的融合矩陣作為輸入，對所述情感識別模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的情感識別模型。

可選地，所述構(gòu)建所述待測者的腦電圖數(shù)據(jù)的特征矩陣，具體包括：

根據(jù)國際10-20系統(tǒng)的電極通道數(shù)和采樣頻率，構(gòu)建初始一維向量；

根據(jù)所述初始一維向量和所述國際10-20系統(tǒng)的電極位置，構(gòu)建初始二維矩陣；

對所述初始二維矩陣進(jìn)行標(biāo)準(zhǔn)化，得到初始矩陣；

剔除所述初始一維向量中的與所述國際10-20系統(tǒng)中位于前后矢狀線上的電極對應(yīng)的元素，得到剔除后的一維向量；