[發(fā)明專利]一種基于雙路雙維卷積神經(jīng)網(wǎng)絡(luò)的情緒判別方法

在審

• 申請?zhí)枺?/td>: 202310090774.7
• 申請日: 2023-02-09
• 公開（公告）號: CN116058842A
• 公開（公告）日: 2023-05-05
• 發(fā)明（設(shè)計）人: 楊琨;王文旭;郝潤芳;桑勝波;張強(qiáng)
• 申請（專利權(quán)）人: 太原理工大學(xué)
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/0205;A61B5/01;A61B5/145;A61B5/00
• 代理公司: 太原高欣科創(chuàng)專利代理事務(wù)所(普通合伙) 14109
• 代理人: 孟肖陽;冷錦超

1.一種基于雙路雙維卷積神經(jīng)網(wǎng)絡(luò)的情緒判別方法，其特征在于：包括如下步驟：

步驟1：利用外周生理信號檢測設(shè)備采集受試者的心率信號、血氧信號、血壓信號、體溫信號，并通過小波變換過濾得到待判斷的四個通道的信號，通過受試者填寫調(diào)查問卷獲得情緒表現(xiàn)作為標(biāo)簽；

步驟2：將收集到的生理信號劃分為訓(xùn)練集和測試集，分別進(jìn)行多尺度一維卷積神經(jīng)網(wǎng)絡(luò)和多尺度二維卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練；

步驟3：將經(jīng)過小波變換過濾得到的生理信號經(jīng)過多尺度一維卷積神經(jīng)網(wǎng)絡(luò)和多尺度二維卷積神經(jīng)網(wǎng)絡(luò)得到的特征進(jìn)行隱式交叉，得到新的特征向量；

步驟4：對交叉后的特征經(jīng)過注意力機(jī)制處理，為每一維交叉后的特征賦以不同的權(quán)重，再連接分類層進(jìn)行分類，構(gòu)建完整的雙路雙維卷積神經(jīng)網(wǎng)絡(luò)模型；

步驟5：將步驟2中的多尺度一維卷積神經(jīng)網(wǎng)絡(luò)和多尺度二維卷積神經(jīng)網(wǎng)絡(luò)的情緒預(yù)測結(jié)果和步驟4中的雙路雙維的卷積神經(jīng)網(wǎng)絡(luò)的情緒預(yù)測結(jié)果進(jìn)行置信度融合，通過不同的權(quán)重得到新的情緒置信度結(jié)果；

步驟6：利用采集到的心率、血壓、血氧和體溫信號訓(xùn)練雙路雙維卷積神經(jīng)網(wǎng)絡(luò)模型及置信度分值計算方法，再利用訓(xùn)練好的模型對未知情緒狀態(tài)進(jìn)行預(yù)測，實(shí)現(xiàn)情緒判別及置信度分值計算。

2.根據(jù)權(quán)利要求1所述的一種基于雙路雙維卷積神經(jīng)網(wǎng)絡(luò)的情緒判別方法，其特征在于：所述步驟1具體過程如下：

步驟1.1：為受試者佩戴外周生理信號檢測設(shè)備，監(jiān)測受試者的心率、血氧、血壓、體溫，并為受試者播放情緒激發(fā)素材，使受試者的情緒有明顯波動，情緒激發(fā)素材播放完畢后讓受試者填寫調(diào)查問卷，調(diào)查問卷中包括效價分?jǐn)?shù)(Valence)和喚醒度分?jǐn)?shù)(Arousal)；

步驟1.2：通過小波變換過濾原始四個生理信號的噪聲得到待使用的外周生理信號，心率為[x₁₁,x₁₂,…x_1n]，血氧為[x₂₁,x₂₂,…x_2n]，血壓為[x₃₁,x₃₂,…x_3n]，體溫為[x₄₁,x₄₂,…x_4n]；

然后根據(jù)效價分?jǐn)?shù)和喚醒度分?jǐn)?shù)將受試者的打分分為4種情緒，分別為高效價高喚醒(HVHA)、高效價低喚醒(HVLA)、低效價高喚醒(LVHA)、低效價低喚醒(LVLA)；

步驟1.3：將受試者的每個情緒激發(fā)素材激發(fā)的情緒的生理信號和受試者對應(yīng)情緒標(biāo)簽組成一個樣本，其形式為：

上式中：x表示受試者的每個情緒激發(fā)素材激發(fā)的情緒的生理信號，y表示受試者對應(yīng)情緒標(biāo)簽。

3.根據(jù)權(quán)利要求2所述的一種基于雙路雙維卷積神經(jīng)網(wǎng)絡(luò)的情緒判別方法，其特征在于：所述步驟1.2中小波變換的步驟如下：

設(shè)f(n)為原始信號f(t)的離散采樣數(shù)據(jù)，對于一維離散信號f(n)，n＝0,1…N-1，其小波變換為：

上式中：Wf(j，k)為小波系數(shù)，j為尺度和小波函數(shù)在頻域上的伸縮，k為函數(shù)在時域的平移；

然后通過雙尺度方程使用遞歸的實(shí)現(xiàn)方法：

Sf(j+1，k)＝Sf(j，k)*h(j，k)；

Wf(j+1，k)＝Sf(j，k)*g(j，k)；

上式中：g和h分別對應(yīng)于小波函數(shù)和尺度函數(shù)φ(t)的低通和高通濾波器，sf(0，k)為原始的信號f(n)，Sf(j，k)為尺度函數(shù)，Wf(j，k)為小波函數(shù)，則小波變換的重構(gòu)公式為：

Sf(j-1，k)＝Sf(j，k)*h(j，k)+Wf(j，k)*g(j，k)。

4.根據(jù)權(quán)利要求1所述的一種基于雙路雙維卷積神經(jīng)網(wǎng)絡(luò)的情緒判別方法，其特征在于：所述多尺度一維卷積神經(jīng)網(wǎng)絡(luò)包括1個普通卷積層、3個多尺度卷積層、2個多尺度下采樣層，所述多尺度卷積層包含4個分支，其中分支1包含1個卷積層，卷積核的尺度為1×1；

分支2包含2個卷積層，分別是1×1和3×1；

分支3包含3個卷積層，分別為1×1、3×1和5×1；

分支4包含下采樣操作，最后的直接把每個分支的特征連接在一起。