[發明專利]一種基于時空融合特征網絡的多通道腦電信號情緒識別方法

在審

• 申請號: 202111476447.2
• 申請日: 2021-12-06
• 公開（公告）號: CN114224342A
• 公開（公告）日: 2022-03-25
• 發明（設計）人: 張道強;劉艷玲;許子明
• 申請（專利權）人: 南京航空航天大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/372;A61B5/377;A61B5/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 曹坤

本發明公開了一種基于時空融合特征網絡的多通道腦電信號情緒識別方法。屬于腦電信號處理和情感計算領域，具體操作步驟如下：情緒刺激實驗范式設計和腦電信號采集；對采集到的腦電信號進行預處理；預處理后的信號進行數據轉換，得到包含時空信息的樣本數據；將處理后的腦電樣本輸入至時空融合特征網絡中，利用時空融合相關性信息，得到情緒分類結果。本發明所提出的基于時空融合特征網絡的腦電信號情緒識別框架，既利用了腦電信號在情緒識別中的客觀性，又通過時空融合特征網絡充分挖掘了腦電信號時間依賴性和空間相關性信息，并且不需要專家先驗知識和人工特征提取，可以高效、準確、客觀地得到情緒識別結果。

技術領域

本發明屬于腦電信號處理、情感計算領域，涉及一種基于時空融合特征網絡的多通道腦電信號情緒識別方法。

背景技術

情緒是認知和意識過程中對心理和生理狀態的測量，對人類的行為、心理健康以及日常體驗的質量有著非常重要的影響。了解人類的情感狀態是縮短人機距離、建立友好人機交互環境的關鍵一環。醫學領域中，情緒識別技術可以幫助醫生診療精神疾病、幫助患者表達情感，同時有助于醫生追蹤患者病情。為了讓機器理解情緒，心理學家通常使用兩種模型來表示情緒，即離散模型和維度模型。離散模型將情緒劃分為基本狀態，包括六種基本情緒(快樂、悲傷、恐懼、厭惡、憤怒、驚訝)。維度模型使用連續的坐標系來描述情緒空間。通常，維度模型包含效價和喚醒兩個維度。喚醒維度用于表示情緒的興奮程度，效價維度用于表示情緒的積極程度。

腦電信號(EEG)直接從大腦皮層采集，是情緒刺激的實時反映。同時，與識別面部表情等非生理信號相比，生理信號無法偽裝的特性使得使用生理信號識別情緒更加準確。因此，基于多通道腦電信號的情緒識別受到了越來越多的關注，也逐漸成為情緒障礙診斷的重要計算機輔助方法。隨著深度學習在其他模式識別任務中的表現越來越突出，許多研究應用深度學習方法替代傳統的機器學習，以自動學習與情緒有關的深度特征表示。現有的大多數方法基于人工選擇特征，然而，人工設計和提取特征需要基于領域知識，對于非領域專家來說可能是一種障礙。同時，人工特征冗余度高，而且難以表達腦電信號的高層語義信息。因此，如何更好地利用腦電信號的時空維度相關性信息建立更高效的模型，以在無需領域知識的情況下，實現更加快速、準確、客觀的情緒識別仍然是一個尚待解決的問題。

發明內容

發明目的：本發明的目的是提供了一種基于時空融合特征網絡的多通道腦電信號情緒識別方法；目前存在的大多數基于腦電的情緒識別框架通常需要人工特征提取和選擇，而有些方法即使使用深度學習，也仍然需要手動提取特征，然后將選擇出有利于情緒識別的有用特征輸入網絡。然而人工提取和選擇特征通常是比較困難的，同時可能會造成所設計方法向專業領域外推廣應用的阻礙，因此開發原始信號端到端自動學習的情緒識別模型是必要的。在深度網絡提取特征方面，由于腦電信號序列在時間和空間維度上包含豐富的有用信息，目前的方法通常僅考慮時間或空間單一維度，或設置兩個獨立模塊，分開提取時空信息再將特征合并。這些方法雖然考慮了時空維度的信息，但可能不利于網絡內兩個維度之間的信息流動。對此，我們提出的方法基于原始腦電信號端到端學習，在模型中同步提取時空特征，同時加入時空注意力模塊加強有意義信息，在公開數據集上測試，實現了精確、客觀的識別結果。

技術方案：本發明所述的一種基于時空融合特征網絡的多通道腦電信號情緒識別方法，其具體操作步驟如下：

(1)、情緒刺激實驗范式設計和腦電信號數據采集；

(2)、對采集到的腦電信號進行基本預處理，從而得到情緒腦電信號數據；

(3)、對經過預處理后的情緒腦電信號進行數據轉換，使樣本包含時空信息；

(4)、將處理后的腦電樣本輸入至時空融合特征網絡中，并充分利用時空融合相關性信息，最終得到情緒分類結果。

進一步的，在步驟(1)中，所述設計情緒刺激實驗范式的具體過程是：

首先，從情緒素材庫中挑選能夠誘發不同情緒的情緒刺激素材；