[發明專利]基于視頻腦電信號的情緒識別方法、裝置及計算機設備

在審

• 申請號: 202011097538.0
• 申請日: 2020-10-14
• 公開（公告）號: CN112220455A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 常春起;陳淑萍;付瑞琦;范夢迪
• 申請（專利權）人: 深圳大學
• 主分類號: A61B5/00
• 分類號: A61B5/00;A61B5/24;A61B5/372;A61B5/16;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 李瑩

1.一種基于視頻腦電信號的情緒識別方法，其特征在于，所述方法包括：

在情緒誘發實驗中同步采集訓練所需的視頻數據和腦電數據；

根據患者的自我評估結果分別將對應的視頻數據和腦電數據打上對應的情緒標簽，并對所述腦電數據進行預處理；

通過所述視頻數據和腦電數據分別對CNN網絡和ShallowConvNet網絡進行模型訓練得到訓練好的面部表情識別模型和腦電情緒識別模型；

通過所述訓練好的面部表情識別模型和腦電情緒識別模型分別對患者的日常視頻監控數據進行情緒識別；

當所述面部表情識別模型的識別結果和腦電情緒識別模型的識別結果的一致性達到預設的閾值時，則可作為最終的情緒識別結果。

2.根據權利要求1所述的基于視頻腦電信號的情緒識別方法，其特征在于，所述在情緒誘發實驗中同步采集訓練所需的視頻數據和腦電數據的步驟還包括：

選取能誘發出患者恐懼、悲傷和中性情緒的視頻片段，并將所述視頻片段編寫成刺激呈現程序；

待患者插上電極后觀看多個不同的視頻片段，同步采集患者觀看視頻片段時的視頻數據和腦電數據；

在每個片段結束后選擇對應的情緒標簽，并將患者選擇的情緒標簽記錄在對應的視頻片段中。

3.根據權利要求1所述的基于視頻腦電信號的情緒識別方法，其特征在于，所述對所述腦電數據進行預處理的步驟還包括：

對腦電信號進行降采樣；

選取與恐懼悲傷情緒相關的杏仁核、右側顳極，以及與其他情緒相關的腦島、眶額皮質和扣帶前回皮質腦區部位通過電極進行腦電采集；

采用50Hz、100Hz的陷波進行濾波，采用0.5～120Hz的帶通進行濾波；

使用EEGLAB的眼電干擾和肌電偽跡干擾去除功能去除眼電和肌電。

4.根據權利要求1所述的基于視頻腦電信號的情緒識別方法，其特征在于，在所述通過所述訓練好的面部表情識別模型和腦電情緒識別模型分別對患者的日常視頻監控數據進行情緒識別的步驟之后還包括：

將采集到的日常視頻進行人臉檢測和人臉匹配處理，通過訓練好的面部表情識別模型進行情緒識別；

對于情緒識別結果為連續一定時間段內都是恐懼或者悲傷的數據段，根據其時間點截取對應的腦電數據；

使用訓練好的腦電情緒識別模型對截取的腦電數據進行情緒識別；

若截取的腦電數據的情緒識別結果與面部表情的情緒識別結果的匹配度達到80％，則將該時間段的腦電情緒識別結果作為最終的情緒標簽進行標識。

5.一種基于視頻腦電信號的情緒識別裝置，其特征在于，所述裝置包括：

采集模塊，所述采集模塊用于在情緒誘發實驗中同步采集訓練所需的視頻數據和腦電數據；

預處理模塊，所述預處理模塊用于根據患者的自我評估結果分別將對應的視頻數據和腦電數據打上對應的情緒標簽，并對所述腦電數據進行預處理；

模型訓練模塊，所述模型訓練模塊用于通過所述視頻數據和腦電數據分別對CNN網絡和ShallowConvNet網絡進行模型訓練得到訓練好的面部表情識別模型和腦電情緒識別模型；

識別模塊，所述識別模塊用于通過所述訓練好的面部表情識別模型和腦電情緒識別模型分別對患者的日常視頻監控數據進行情緒識別；

結果判定模塊，所述結果判定模塊用于當所述面部表情識別模型的識別結果和腦電情緒識別模型的識別結果的一致性達到預設的閾值時，則可作為最終的情緒識別結果。

6.根據權利要求5所述的基于視頻腦電信號的情緒識別裝置，其特征在于，所述采集模塊還用于：

選取能誘發出患者恐懼、悲傷和中性情緒的視頻片段，并將所述視頻片段編寫成刺激呈現程序；

待患者插上電極后觀看多個不同的視頻片段，同步采集患者觀看視頻片段時的視頻數據和腦電數據；

在每個片段結束后選擇對應的情緒標簽，并將患者選擇的情緒標簽記錄在對應的視頻片段中。