[發(fā)明專(zhuān)利]一種基于FECNN-LSTM的眼動(dòng)和PPG多模態(tài)融合的情感識(shí)別方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111037434.5
• 申請(qǐng)日: 2021-09-06
• 公開(kāi)（公告）號(hào): CN113729707A
• 公開(kāi)（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 陶小梅;陳心怡;周穎慧;鮑金笛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 桂林理工大學(xué)
• 主分類(lèi)號(hào): A61B5/16
• 分類(lèi)號(hào): A61B5/16;A61B3/113;A61B5/024;A61B5/00;A61B3/11;A61B5/11
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.基于FECNN-LSTM的眼動(dòng)和PPG多模態(tài)融合的情感識(shí)別方法，其特征在于，所述方法包括：

步驟1：自建眼動(dòng)和PPG多模態(tài)數(shù)據(jù)庫(kù)，以學(xué)習(xí)視頻作為刺激材料，獲取眼動(dòng)及PPG數(shù)據(jù)；

步驟2：對(duì)采集到的眼動(dòng)、PPG數(shù)據(jù)進(jìn)行預(yù)處理，所述預(yù)處理包括：數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注；以及PPG數(shù)據(jù)使用低通濾波，高通濾波進(jìn)行去噪，采用離散型的情感標(biāo)注模型標(biāo)注，將情感標(biāo)注詞分為感興趣，高興，困惑，無(wú)聊四種情感狀態(tài)；對(duì)采集的眼動(dòng)數(shù)據(jù)進(jìn)行預(yù)處理，預(yù)處理包括：高質(zhì)量數(shù)據(jù)篩選、數(shù)據(jù)清洗和數(shù)據(jù)去噪；由于PPG原始數(shù)據(jù)的采集過(guò)程中會(huì)受到電磁干擾，光照影響，運(yùn)動(dòng)偽差干擾而產(chǎn)生噪音，而PPG信號(hào)的有效帶通在0.8-10Hz之間，因此設(shè)定高通過(guò)濾器閾值為1Hz過(guò)濾掉信號(hào)在低頻處產(chǎn)生的漂移，設(shè)定低通過(guò)濾閾值為10過(guò)濾高于10Hz的噪聲干擾；

步驟3：將預(yù)處理后的采集數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，比例為80％和20％；

步驟4：將預(yù)處理好的數(shù)據(jù)集的眼動(dòng)和PPG數(shù)據(jù)轉(zhuǎn)換為UTF-8格式文本，構(gòu)造不同時(shí)間窗口長(zhǎng)度的數(shù)據(jù)集，包括5秒、10秒和15秒時(shí)間窗口長(zhǎng)度；

步驟5：計(jì)算5s時(shí)間窗口內(nèi)的眼動(dòng)時(shí)域、PPG時(shí)頻域特征，具體描述如下步驟：

S1、計(jì)算眼動(dòng)數(shù)據(jù)的相關(guān)特征包括：注視次數(shù)，注視時(shí)長(zhǎng)，注視速度的統(tǒng)計(jì)特征；掃視次數(shù)，掃視時(shí)長(zhǎng)，掃視速度的統(tǒng)計(jì)特征；左右瞳孔直徑變化率，左右瞳孔直徑，瞳孔均值的統(tǒng)計(jì)特征；眨眼次數(shù)，眨眼頻率，眨眼時(shí)長(zhǎng)統(tǒng)計(jì)特征共50個(gè)；

S2、提取PPG數(shù)據(jù)的心率值HR,心率變異性和峰值RPeaks數(shù)據(jù)，并計(jì)算相關(guān)特征：HR均值，HR最值，HR一階差分，HR二階差分時(shí)域特征；HRV一階差分，二階差分，SDNN，RMSSD，PNN50，PNN20時(shí)域特征；PSD,LF,HF,VLF,LF/HF五個(gè)HRV頻域特征；峰值和峰值一階差分時(shí)域特征共32個(gè)；

步驟6：將上述特征使用PCA進(jìn)行特征降維，選出72個(gè)與情感狀態(tài)顯著相關(guān)的特征；

步驟7：將上述選出的72個(gè)特征進(jìn)行特征層融合構(gòu)造成淺層特征，歸一化后設(shè)計(jì)并使用FECNN提取淺層特征的深層特征，對(duì)深層特征使用主成分分析方法選取與情感狀態(tài)最相關(guān)的特征共57維，再將淺層特征與深層特征進(jìn)行特征層融合，使用SVM,RF,KNN和MLP四種機(jī)器學(xué)習(xí)算法對(duì)淺層特征+深層特征進(jìn)行情感分類(lèi)；

步驟8：設(shè)計(jì)LSTM網(wǎng)絡(luò)模型對(duì)淺層特征+深層特征進(jìn)行情感分類(lèi)，經(jīng)過(guò)多次試驗(yàn)，將訓(xùn)練集中的數(shù)據(jù)分批進(jìn)行多輪訓(xùn)練，以調(diào)整網(wǎng)絡(luò)參數(shù)，直到達(dá)到最大迭代次數(shù)或滿(mǎn)足提前截止條件,選出最優(yōu)的LSTM網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)；

步驟9：使用步驟8的訓(xùn)練得到的LSTM網(wǎng)絡(luò)模型在測(cè)試集上運(yùn)行，得到最終的分類(lèi)精度指標(biāo)；

步驟10：將LSTM的分類(lèi)結(jié)果和SVM,KNN,MLP,RF算法的分類(lèi)結(jié)果進(jìn)行對(duì)比分析。

2.如權(quán)利要求1所述的視頻學(xué)習(xí)中的情感識(shí)別方法，其特征在于，

步驟1具體描述如下：

S1、在實(shí)驗(yàn)進(jìn)行前，先給被試佩戴生理信號(hào)采集設(shè)備，然后對(duì)被試進(jìn)行眼部校準(zhǔn)，以檢查被試是否作為合格被試；

S2、在正式進(jìn)入實(shí)驗(yàn)前被試需要觀看注視點(diǎn)，即出現(xiàn)在屏幕正中的十字準(zhǔn)星，時(shí)長(zhǎng)為60s,加入注視點(diǎn)后可以獲得眼動(dòng)和PPG數(shù)據(jù)的基線(xiàn)值；

S3、實(shí)驗(yàn)過(guò)程中會(huì)先播放4個(gè)2min的視頻片段，再播放1個(gè)10min的視頻片段，4個(gè)2min的視頻片段以隨機(jī)的順序播放，在播放每個(gè)視頻片段前都會(huì)要求被試進(jìn)行知識(shí)問(wèn)卷測(cè)試，測(cè)量被試的先前知識(shí)，其內(nèi)容與實(shí)驗(yàn)材料內(nèi)容相關(guān)，然后被試在計(jì)算機(jī)屏幕上觀看播放的視頻片段，在視頻播放結(jié)束后，被試需要通過(guò)按鍵標(biāo)注觀看視頻時(shí)產(chǎn)生的情感并完成后測(cè)檢驗(yàn)，完成后測(cè)檢驗(yàn)后再進(jìn)行下一個(gè)視頻片段知識(shí)問(wèn)卷測(cè)試、觀看與后測(cè)檢驗(yàn)；

S4、最后播放的視頻是一個(gè)10min的誘發(fā)走神的視頻，這個(gè)視頻在觀看過(guò)程中會(huì)彈出提醒，如果被試在提示彈出前的時(shí)間段內(nèi)出現(xiàn)走神則可以按鍵標(biāo)注走神；

S5、整個(gè)實(shí)驗(yàn)結(jié)束后，由實(shí)驗(yàn)人員為被試講解標(biāo)注模型，確保被試完全理解上述模型后，讓被試觀看回顧視頻，包括視頻片段及被試本人觀看視頻片段時(shí)的錄像和被試觀看視頻片段時(shí)的眼動(dòng)軌跡，由被試回顧當(dāng)時(shí)產(chǎn)生的情感狀態(tài)劃分事件，并根據(jù)分類(lèi)情感模型中的情感詞和不同的喚醒等級(jí)選擇自己當(dāng)時(shí)所處的情感狀態(tài)和情感強(qiáng)度，對(duì)5個(gè)視頻進(jìn)行標(biāo)注，數(shù)據(jù)采集實(shí)驗(yàn)中的情感狀態(tài)采用“暗示回顧”法和被試主觀報(bào)告方式獲取，即被試觀看視頻片段后，回放視頻及同步錄制的被試面部表情視頻和被試眼動(dòng)軌跡，刺激被試回憶當(dāng)時(shí)的情感狀態(tài)，將同步視頻分割成事件片段，并從情感分類(lèi)模型中的情感詞和喚醒等級(jí)中選擇自己的情感狀態(tài)和情感強(qiáng)度，情感狀態(tài)包括高興、感興趣、無(wú)聊、困惑、走神與其他，選取PAD維度模型中的A維度回顧標(biāo)注被試處在某種情感狀態(tài)的喚醒維度強(qiáng)弱，分別用1-5表示某種情感的強(qiáng)度，1為最低，5為最高，從1到5依次遞增；

步驟2具體描述如下：

S1、數(shù)據(jù)預(yù)處理：去掉實(shí)驗(yàn)過(guò)程中視線(xiàn)跟蹤丟失的被試的眼動(dòng)數(shù)據(jù)，將獲取的數(shù)據(jù)按不同步長(zhǎng)劃分?jǐn)?shù)據(jù)，對(duì)于眼動(dòng)信號(hào)預(yù)處理，主要是移除實(shí)驗(yàn)過(guò)程中被試者眼動(dòng)數(shù)據(jù)異常值，消除采集過(guò)程中產(chǎn)生的噪聲，對(duì)于PPG信號(hào)預(yù)處理，主要是去除采集PPG信號(hào)過(guò)程中的電磁干擾，光照影響，運(yùn)動(dòng)偽差干擾影響產(chǎn)生的噪音，而PPG信號(hào)的有效帶通在0.8-10Hz之間，因此設(shè)定高通過(guò)濾器閾值為1Hz過(guò)濾掉信號(hào)在低頻處產(chǎn)生的漂移，設(shè)定低通過(guò)濾閾值為10過(guò)濾高于10Hz的噪聲干擾；

S2、數(shù)據(jù)標(biāo)注：將所有被試數(shù)據(jù)加上情感屬性標(biāo)簽‘label’，記感興趣為0，困惑為1，無(wú)聊為2以及高興為3；

步驟5具體描述如下：

根據(jù)研究目的選擇合適有效的眼動(dòng)PPG指標(biāo)是非常重要的，否則研究過(guò)程中有價(jià)值的數(shù)據(jù)信息就會(huì)丟失，在情感識(shí)別研究中，單一模態(tài)的指標(biāo)具有一定局限性，多模態(tài)的信號(hào)具有相關(guān)性和互補(bǔ)性，因此應(yīng)根據(jù)研究的需要選擇眼動(dòng)和PPG兩個(gè)模態(tài)的指標(biāo)進(jìn)行分析，本實(shí)驗(yàn)選取的眼動(dòng)指標(biāo)主要包括以下四類(lèi)：注視、眼跳、眨眼和瞳孔直徑；選取的PPG指標(biāo)主要包括HR,HRV和RPeaks三類(lèi)；

PPG的時(shí)頻域特征計(jì)算如下，PPG頻域特征具體計(jì)算公式如下式(4)～(9)，對(duì)每個(gè)時(shí)間窗口的脈搏序列信號(hào)間距采樣選取N點(diǎn)構(gòu)成離散序列X(n)，進(jìn)行離散傅里葉變換得到頻域序列X(k)，其中k為離散頻率變量，W_N為正變換核，j為虛數(shù)單位，計(jì)算公式如下：

由歐拉公式：

e^±jn＝cos n±j sin n (5)

則：

W_N＝exp(-j2πnk)＝cos2πnk-jsin2πnk (6)

此時(shí)X(k)為復(fù)數(shù)，

X(k)＝R(k)+jI(k) (7)

R(k)為實(shí)部，I(k)為虛部，則頻域序列的每個(gè)點(diǎn)的相位值為：

頻率譜為：

由于離散傅里葉變換計(jì)算量大，將上述得到的數(shù)據(jù)用快速傅里葉變換處理，再把頻率和相位表示為頻率函數(shù)，并從功率譜密度中提取相應(yīng)的頻率成分HF，LF，VLF，LF/HF以及總功率作為HRV的頻域特征；

設(shè)HRV序列為R＝[R₁,R₂,…R_N]，R_i表示i時(shí)刻HRV的值，N代表序列長(zhǎng)度，HRV時(shí)域特征計(jì)算公式如下(10)～(13)，RR間期差值均方根RMSSD的計(jì)算公式如下式(10)，其中RR_i＝R_i+1-R_i；

標(biāo)準(zhǔn)差SDNN公式如下：

其中

峰值間期大于50ms的百分比PNN50：

根據(jù)每個(gè)模態(tài)得到的特征采用主成分分析(PCA)法篩選出與情感狀態(tài)顯著相關(guān)的眼動(dòng)和PPG特征，實(shí)驗(yàn)分析最終選取了32個(gè)眼動(dòng)特征以及40個(gè)PPG特征；

步驟7，具體描述如下：

S1、將同步時(shí)間窗口內(nèi)的眼動(dòng)統(tǒng)計(jì)特征和PPG時(shí)頻域特征進(jìn)行特征層融合后構(gòu)成淺層特征，得到一個(gè)72維的組合特征向量，由于存在個(gè)體差異，不同人的生理信號(hào)基線(xiàn)值不同，因此需要去除個(gè)體的基線(xiàn)值，將眼動(dòng)和PPG的每種情感特征用平靜狀態(tài)下的相應(yīng)特征值作標(biāo)準(zhǔn)化，用min-max歸一化將特征值映射到[0,1]區(qū)間內(nèi)，min-max歸一化公式(14)如下：

X^*為歸一化后的值，x為樣本值，X_min為樣本中的最小值，X_max為樣本中的最大值，

S2、設(shè)計(jì)FECNN網(wǎng)絡(luò)結(jié)構(gòu)描述如下：FECNN網(wǎng)絡(luò)中特征提取部分由連續(xù)的卷積層和池化層構(gòu)成，卷積層用來(lái)提取輸入數(shù)據(jù)的深層信息，池化層用于對(duì)獲得的特征圖進(jìn)行降采樣處理，以減輕網(wǎng)絡(luò)過(guò)擬合程度，F(xiàn)ECNN的輸入是一個(gè)72×1的向量，共有6個(gè)卷積層，分別是Conv1，Conv2，Conv3，Conv4，Conv5，Conv6，每個(gè)卷積層都包含一個(gè)一維大小為3×1的卷積核，一個(gè)帶有2×1過(guò)濾器的最大池化層和一個(gè)正則化Dropout層，Dropout層以概率0.5使部分神經(jīng)元失活以防止模型出現(xiàn)過(guò)擬合，失活的神經(jīng)元不會(huì)進(jìn)行誤差反向傳播，但是該神經(jīng)元的權(quán)重會(huì)被保留下來(lái)，因此每次輸入樣本時(shí)，該網(wǎng)絡(luò)就采用了與之前不一樣的網(wǎng)絡(luò)結(jié)構(gòu)，每個(gè)卷積層的步長(zhǎng)設(shè)為1，使用Relu作為激活函數(shù)，卷積層Conv6后疊加一個(gè)Flatten展平層，然后用一個(gè)Dense層把Flatten層輸出特征壓縮成64×1維的深層特征，用皮爾遜相關(guān)系數(shù)選取與情感狀態(tài)相關(guān)的深層特征，共57維；

步驟8中，設(shè)計(jì)的長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)LSTM結(jié)構(gòu)描述如下：

LSTM常用于分析時(shí)間序列數(shù)據(jù)，本文選用的LSTM由輸入門(mén)，遺忘門(mén)，輸出門(mén)和內(nèi)部記憶單元組成，通過(guò)有效利用計(jì)算機(jī)內(nèi)存，決定網(wǎng)絡(luò)何時(shí)遺忘以前的隱藏狀態(tài)，何時(shí)更新隱藏狀態(tài)，用于解決RNN在處理有限長(zhǎng)度的序列數(shù)據(jù)在反向傳播過(guò)程中出現(xiàn)的梯度消失和爆炸問(wèn)題，具體如下式(15)～(20)所示；

i_t＝σ(λ_Wi(W_ix_t)+λ_Ui(U_ih_t-1)) (15)

f_t＝σ(λ_Wf(W_fx_t)+λ_Uf(U_fh_t-1)) (16)

o_t＝σ(λ_Wo(W_ox_o)+λ_Uo(U_oh_t-1)) (17)

c'_t＝tanh(λ_Wu(W_cx_t)+λ_Uc(U_ch_t-1)) (18)

c_t＝f_tc_t-1+i_tc'_t (19)

h_t＝o_ttanh(c_t) (20)

由式(15)～(20)，時(shí)刻t隱藏單元的最終輸出h_t由前一個(gè)時(shí)間點(diǎn)隱藏單元輸出h_t-1和當(dāng)前時(shí)間點(diǎn)輸入x_t共同決定，實(shí)現(xiàn)了記憶功能，通過(guò)3個(gè)門(mén)控單元的設(shè)計(jì)，LSTM記憶單元能選擇性保存和更新長(zhǎng)距離的信息，這有利于學(xué)習(xí)PPG信號(hào)和眼動(dòng)的序列特征信息；

LSTM網(wǎng)絡(luò)具有3個(gè)隱藏層，隱藏單元數(shù)分別為32，64，72，將淺層特征和FECNN提取的深層特征作為L(zhǎng)STM的輸入，訓(xùn)練階段通過(guò)反向梯度傳播更新網(wǎng)絡(luò)權(quán)重，為了優(yōu)化損失函數(shù)擺動(dòng)幅度過(guò)大的問(wèn)題，加快函數(shù)收斂速度，選擇自適應(yīng)學(xué)習(xí)率動(dòng)態(tài)調(diào)整算法作為優(yōu)化算法，使用多分類(lèi)的交叉熵?fù)p失函數(shù)來(lái)評(píng)估當(dāng)前訓(xùn)練得到的概率分布與真實(shí)分布的差異情況，如下公式(22)為交叉熵函數(shù)計(jì)算公式，其中為期望輸出，y為神經(jīng)元實(shí)際輸出，模型的損失值loss計(jì)算如下：

y＝σ(Σw_jx_j+b) (21)

當(dāng)期望輸出和實(shí)際輸出相等時(shí)，損失值為0，在每個(gè)LSTM層后使用dropout防止訓(xùn)練過(guò)擬合減少特征的相互作用，輸出層使用softmax激活函數(shù)進(jìn)行分類(lèi)，輸出一個(gè)由4個(gè)概率組成的二維數(shù)組，代表樣本數(shù)據(jù)屬于某種情感的概率值，LSTM最后輸出感興趣、高興、困惑和無(wú)聊四種情感狀態(tài)中的一種。