[發明專利]基于多模態時空特征融合的情緒識別方法及系統

在審

• 申請號: 202210101019.X
• 申請日: 2022-01-27
• 公開（公告）號: CN114424940A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 鄭向偉;郭鯁源;張利峰;鄭法;高鵬志;嵇存;李淑芹
• 申請（專利權）人: 山東師范大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/00
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本公開屬于情緒識別技術領域，提供了一種基于多模態時空特征融合的情緒識別方法及系統，包括以下步驟：獲取原始生理數據；對所獲取的原始生理數據進行預處理，得到多模態生理數據；基于所得到的多模態生理數據分別提取多模態數據的空間特性和時間特性；對所提取到的多模態數據的空間特性和時間特性進行特征級融合，得到融合特征；根據所得到的融合特征進行分類，得到情緒識別的結果。

技術領域

本公開屬于情緒識別技術領域，具體涉及一種基于多模態時空特征融合的情緒識別方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

情緒的變化通常是在外界環境的刺激之下產生的，會伴有個體表征和心理反映的變化，因此可以通過科學的方法進行測量和模擬。隨著便攜式和可穿戴式傳感器的研發和推廣，生理信號的獲取難度降低，基于生理信號的情感識別方法受到越來越多研究者的關注。基于生理信號的情感識別方法是指通過對生理信號的處理，分析出人類內心的情感變化。它已被廣泛應用于許多領域，如疲勞駕駛檢測和醫療保健等。然而，眾多研究表明腦電圖(Electroencephalogram，簡稱EEG)、心電圖(Electrocardiogram，簡稱ECG)、皮膚電(Galvanic Skin Response，簡稱GSR)、呼吸(Respiration，簡稱RSP)和眼電信號(Electrooculogram，簡稱EOG)等生理信號與特定的情緒具有一定的相關性，但每種生理信號具有不同的特點，在情緒識別任務中的表現也不同，每種生理信號都需要單獨研究。

當前基于生理信號的情緒識別方法可以大致分為兩類：單模態情緒識別方法和多模態情緒識別方法。在單模態情緒識別方法中，使用最多的就是基于腦電信號的情感識別方法，除此之外，心電圖、皮膚電和呼吸等生理信號在情緒識別領域也具有較好的效果。多模態情緒識別方法是指將多個模態的數據和特征等相結合，共同得到最終分類結果的方法，主要包括數據級融合、特征級融合和決策級融合三個層級。無論是單模態還是多模態情緒識別方法，其主要包括數據預處理、特征提取、特征優化、特征融合和情感分類等幾個步驟，重點在于特征工程部分。所以，如何提取具有較強情感表征能力的特征并將他們運用到情感識別任務中，已經成為一個關鍵的挑戰。

據發明人了解，現有的情緒識別方法存在以下技術問題：

(1)傳統基于生理信號的情緒識別方法，主要是根據專業知識和經驗，從數據中提取統計特征和頻域特征等人工特征，可解釋性強，但對專業知識要求較高，可能造成信息丟失等問題，從而影響識別準確率。有些研究者提出，使用神經網絡提取數據的高級特征是另一種可行的方法，然而不同網絡結構在特征提取上表現出的效果差異較大。如何使用神經網絡提取具有較高情感表征能力的高級特征成為了一大技術難點。

(2)多模態技術主要包括數據級融合、特征級融合和決策級融合三個方面，在情感識別領域，研究主要集中在決策級融合和特征級融合。決策級融合是在每個模態訓練一個分類器的基礎上，對結果進行集成，可以充分利用每一種模態所具有的有益信息，實現簡單、可解釋強，但也會導致模態間的互補信息損失。特征級融合是從原始數據中提取特征后，將各模態之間的特征進行融合得到融合特征用作識別任務，可以充分利用各個模態之間的情緒互補性。

發明內容

為了解決上述問題，本公開提出了一種基于多模態時空特征融合的情緒識別方法及系統，以ECG、RSP和眼動信號為輸入，對原始生理數據進行線性填充和降噪處理，消除異常值和噪聲對識別準確率的影響；使用卷積神經網絡(Convolutional Neural Network，簡稱CNN)和長短時記憶神經網絡(Long Short Term Memory Networks，簡稱LSTM)提取生理數據的時間特征和空間特征，用以表征情緒；使用多模緊湊雙線性池化層融合生理數據的時間特征和空間特征，在保留有效信息和降低維度的基礎上，充分利用不同生理數據間的互補信息，解決了不同模態之間的互補信息融合的相關技術問題，提高模型的識別準確率。