[發(fā)明專利]利用遷移學(xué)習(xí)實(shí)現(xiàn)神經(jīng)網(wǎng)絡(luò)腦電情感識(shí)別模型的方法

有效

• 申請?zhí)枺?/td>: 202110904775.1
• 申請日: 2021-08-07
• 公開（公告）號: CN113627518B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計(jì)）人: 王量弘;余燕婷;李馨
• 申請（專利權(quán)）人: 福州大學(xué)
• 主分類號: G06F18/2135
• 分類號: G06F18/2135;G06F18/25;G06N3/0464;G06N3/096;A61B5/16;A61B5/372
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 丘鴻超;蔡學(xué)俊

本發(fā)明提出一種利用遷移學(xué)習(xí)實(shí)現(xiàn)多通道卷積?遞歸神經(jīng)網(wǎng)絡(luò)腦電情感識(shí)別模型的方法，其基于三心搏識(shí)別方法構(gòu)建的雙通道一維卷積神經(jīng)網(wǎng)絡(luò)模型作為源域模型進(jìn)行遷移，得到目標(biāo)域?yàn)槟X電信號的多通道卷積?遞歸神經(jīng)網(wǎng)絡(luò)腦電情感識(shí)別模型，解決了腦電信號標(biāo)注數(shù)據(jù)十分稀缺的問題，并能夠提高腦電信號情感預(yù)測準(zhǔn)確度。通過對腦電數(shù)據(jù)集進(jìn)行分解、歸一化等預(yù)處理，提高數(shù)據(jù)處理的準(zhǔn)確性；遷移得到的多通道卷積神經(jīng)網(wǎng)絡(luò)對腦電數(shù)據(jù)集中的多通道腦電信號進(jìn)行特征提取；結(jié)合遞歸神經(jīng)網(wǎng)絡(luò)進(jìn)行序列建模，提取多通道融合情感信息；通過自適應(yīng)注意力模型和加權(quán)特征融合方式來實(shí)現(xiàn)特征的重新分布，得到完整的特征張量。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)、遷移學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種利用遷移學(xué)習(xí)實(shí)現(xiàn)多通道卷積-遞歸神經(jīng)網(wǎng)絡(luò)腦電情感識(shí)別模型的方法。

背景技術(shù)

情緒是對一系列的主觀認(rèn)知經(jīng)驗(yàn)的統(tǒng)稱，它包括人對外界刺激或自身刺激的心理反應(yīng)，以及其伴隨的生理反應(yīng)。情緒的本質(zhì)是個(gè)體對自己周圍環(huán)境事物的感知反應(yīng)。情緒不管在個(gè)體自身還是在個(gè)體與他人之間、個(gè)體與社會(huì)生活之間都有著非常重大的作用，因而情緒識(shí)別的研究不論在理論上還是實(shí)際應(yīng)用中都有著極為重要的意義。腦電圖(EEG)是一種醫(yī)學(xué)成像技術(shù)，可以測量并按時(shí)間順序記錄頭皮表層由大腦中神經(jīng)元內(nèi)的離子電流引起的電位波動(dòng)。研究表明，人的認(rèn)知行為和心理活動(dòng)與腦電信號具有較強(qiáng)的相關(guān)性，可以通過測量腦電信號來預(yù)測人的情緒狀態(tài)。

目前并沒有現(xiàn)成的算法模型可以處理以上技術(shù)問題。如中國專利CN202010122175-融合源端影響的三心拍多模型綜合決策心電特征分類方法提供了心電數(shù)據(jù)的分類模型，但不能直接用于處理腦電信號的分類問題。

發(fā)明內(nèi)容

為了彌補(bǔ)現(xiàn)有技術(shù)的空白和不足，本發(fā)明的目的在于提供一種利用遷移學(xué)習(xí)實(shí)現(xiàn)多通道卷積-遞歸神經(jīng)網(wǎng)絡(luò)腦電情感識(shí)別模型的方法，其基于背景技術(shù)提及的中國專利CN202010122175-融合源端影響的三心拍多模型綜合決策心電特征分類方法提供的三心搏識(shí)別方法構(gòu)建的雙通道一維卷積神經(jīng)網(wǎng)絡(luò)模型作為源域模型進(jìn)行遷移，得到目標(biāo)域?yàn)槟X電信號的多通道卷積-遞歸神經(jīng)網(wǎng)絡(luò)腦電情感識(shí)別模型，解決了腦電信號標(biāo)注數(shù)據(jù)十分稀缺的問題，并能夠提高腦電信號情感預(yù)測準(zhǔn)確度，獲得腦電情感信號在效價(jià)和喚醒度兩種指標(biāo)上的預(yù)測結(jié)果。

本發(fā)明中的源域模型涉及發(fā)明人另一項(xiàng)發(fā)明申請，中國專利CN202010122175-融合源端影響的三心拍多模型綜合決策心電特征分類方法，該方法已公開發(fā)表。源域模型是以該發(fā)明申請為背景設(shè)計(jì)得到的多導(dǎo)聯(lián)三心拍心電圖分類模型，該模型對應(yīng)流程圖如說明書附圖1所示，其中三心拍分類方法的主體架構(gòu)為雙通道一維深度卷積神經(jīng)網(wǎng)絡(luò)。該網(wǎng)絡(luò)可自動(dòng)提取及分析心電信號中人工難以發(fā)現(xiàn)的細(xì)微特征，學(xué)習(xí)其特征相關(guān)性并分類。雙通道卷積神經(jīng)網(wǎng)絡(luò)的輸入為兩個(gè)不同導(dǎo)聯(lián)的三心搏ECG信號序列，分別從兩個(gè)通道進(jìn)入卷積層，卷積層輸出的特征張量進(jìn)入歸一化層(BN層)進(jìn)行歸一化處理。歸一化層之后為激活層，采用ReLU函數(shù)作為激活函數(shù)，以增加網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜數(shù)據(jù)的能力。該網(wǎng)絡(luò)引入殘差網(wǎng)絡(luò)利用恒等映射實(shí)現(xiàn)對反饋優(yōu)化，避免反饋梯度減小。殘差網(wǎng)絡(luò)是一個(gè)跨層疊加的過程，在該過程中會(huì)出現(xiàn)通道數(shù)不匹配問題造成無法直接疊加，因此在網(wǎng)絡(luò)設(shè)計(jì)過程中加入了自定義層，命名為Lambda，通過在多出的通道上填充數(shù)據(jù)來匹配通道數(shù)量。該卷積神經(jīng)網(wǎng)絡(luò)將卷積層、歸一層、激活層和殘差結(jié)構(gòu)作為組合多次疊加，同時(shí)為了防止網(wǎng)絡(luò)過擬合在網(wǎng)絡(luò)中加入了Dropout層隨機(jī)失活部分網(wǎng)絡(luò)單元。該模型利用卷積層提取特征，根據(jù)步長將特征長度進(jìn)行多次縮小最后到全連接層，然后經(jīng)過采用softmax函數(shù)的激活層得到N、V、S、F、Q五種心電類別輸出。采用以上雙通道一維深度卷積神經(jīng)網(wǎng)絡(luò)作為本專利實(shí)施方案的源域模型，有助于解決腦電信號情感識(shí)別過程中多層神經(jīng)網(wǎng)絡(luò)容易發(fā)生的梯度消失及梯度爆炸問題，為實(shí)現(xiàn)源域——心電信號到目標(biāo)域——腦電信號的遷移學(xué)習(xí)方案提供技術(shù)基礎(chǔ)。

其應(yīng)用的主要技術(shù)包括：

1)通過對腦電數(shù)據(jù)集進(jìn)行分解、歸一化等預(yù)處理，提高數(shù)據(jù)處理的準(zhǔn)確性；

2)遷移得到的多通道卷積神經(jīng)網(wǎng)絡(luò)對腦電數(shù)據(jù)集中的多通道腦電信號進(jìn)行特征提取；