[發明專利]基于多模態的大學生情緒壓力檢測系統與方法

在審

• 申請號: 202110074102.8
• 申請日: 2021-01-20
• 公開（公告）號: CN112932486A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 楊亞龍;白云飛;張睿;朱徐來;蘇亮亮;張玲;汪成;趙自豪;李惠
• 申請（專利權）人: 安徽建筑大學
• 主分類號: A61B5/16
• 分類號: A61B5/16
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 周雷

1.基于多模態的大學生情緒壓力檢測方法，其特征在于，方法步驟如下：

S01.通過情緒壓力測試實驗，人為激發被試處于情緒激發狀態，并分別獲取被試基礎情緒壓力狀態下和壓力激發狀態下的EEG、ECG和GSR數據；

S02.將步驟S01中采集到的EEG、ECG和GSR數據進行預處理與特征提取；

S03.將步驟S02中得到的EEG特征、ECG特征和GSR特征輸入預先訓練好的BP神經網絡中進行分類，得到基于多模態的被試基礎情緒壓力等級與激發壓力等級；

S04.將步驟S03中的基礎情緒壓力等級、激發壓力等級與壓力變化差值輸入至預先訓練好的感知器中進行分類，判斷被試是否處于高情緒壓力狀態。

2.根據權利要求1所述的基于多模態的大學生情緒壓力檢測方法，其特征在于，所述步驟S01中的情緒壓力測試實驗包括以下階段：

第一階段：介紹實驗流程與目的，調查被試的基本信息；

第二階段：佩戴儀器設備同時適應實驗環境，待設備佩戴結束后進入十分鐘的自我休息階段，閉目養神，期間記錄靜息閉眼狀態下EEG、ECG和GSR數據五分鐘，作為被試的基礎情緒壓力水平；

第三階段：進行壓力任務測試，測試分為問題陳述環節與心算數學題測試環節；做數學題期間記錄壓力激發狀態下的EEG、ECG和GSR數據五分鐘，作為被試的激發情緒壓力水平；

第四階段：放松休息階段。

3.根據權利要求2所述的基于多模態的大學生情緒壓力檢測方法，其特征在于，所述步驟S01中EEG數據的獲取選用EEG設備，該EEG設備共分布有Fp1，Fp2，C3，C4，Cz，P3，P4，Pz，Tp9，Tp10十個電極，其中的Tp9、Tp10作為參考電極，采樣率預先設定為500Hz；

所述步驟S01中ECG數據的獲取選用ECG穿戴設備，ECG設備中的NEG端接右手手臂，POS端接左手手臂，Earth端接右腳腳踝處；

所述步驟S01中GSR數據的獲取采用GSR設備，GSR設備的兩個電極使用連接帶連接到同一只手的食指與無名指中段位置。

4.根據權利要求3所述的基于多模態的大學生情緒壓力檢測方法，其特征在于，所述步驟S02中采集到的EEG、ECG和GSR數據預處理與特征提取包括：

EEG數據的預處理與特征提取：

使用插值法去除壞通道，將由于通道故障或者電極位置錯誤的無用通道信號進行去除；

濾波，使用快速傅里葉變化過濾掉頻帶外的噪聲，保留腦電信號后續處理需要用的阿爾法波和貝塔波頻帶；

降采樣，降低采樣率至256Hz；

使用獨立成分分析法去除眼動、頭部運動、心跳偽影；

選擇腦電信號中的阿爾法波功率、23～30Hz高貝塔波功率以及高貝塔波功率與阿爾法波功率比值作為腦電信號的特征；

ECG數據的預處理與特征提取：

采用小波變換對采集到的心電數據進行去噪；

選擇心電信號中的R-R間期均值、R-R間期的標準差、心率變異性和每組ECG數據的心率平均值作為ECG的特征；

GSR數據的預處理與特征提取：

采用小波變換去除皮電信號中的高頻部分干擾噪聲，并對皮電信號進行歸一化處理；

選擇皮膚電信號的每組GSR數據的平均值、每組GSR數據的中值、每組GSR數據的標準差和每組數據的最大值與最小值的差值作為GSR的特征。

5.根據權利要求4所述的基于多模態的大學生情緒壓力檢測方法，其特征在于，所述步驟S03中BP神經網絡包括輸入層、隱含層、輸出層依次串聯，且輸入層、隱含層、輸出層之間的傳遞函數為線性傳輸函數；

其中的輸入層有11個輸入單元，隱含層有13個神經元，輸出層有三個輸出單元，神經網絡的輸入向量為11維的向量X，每個輸入向量分別代表EEG、ECG和GSR的特征，并且每組數據輸入前均做歸一化處理；

BP神經網絡的訓練公式為：