[發明專利]基于多模態時空特征融合的情緒識別方法及系統

在審

• 申請號: 202210101019.X
• 申請日: 2022-01-27
• 公開（公告）號: CN114424940A
• 公開（公告）日: 2022-05-03
• 發明（設計）人: 鄭向偉;郭鯁源;張利峰;鄭法;高鵬志;嵇存;李淑芹
• 申請（專利權）人: 山東師范大學
• 主分類號: A61B5/16
• 分類號: A61B5/16;A61B5/00
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

1.一種基于多模態時空特征融合的情緒識別方法，其特征在于，包括以下步驟：

獲取原始生理數據；

對所獲取的原始生理數據進行預處理，得到多模態生理數據；

基于所得到的多模態生理數據分別提取多模態數據的空間特性和時間特性；

對所提取到的多模態數據的空間特性和時間特性進行特征級融合，得到融合特征；

根據所得到的融合特征進行分類，得到情緒識別的結果。

2.如權利要求1中所述的一種基于多模態時空特征融合的情緒識別方法，其特征在于，原始的情緒數據集中包含情感刺激階段和自我評估階段，對原始的情緒數據集中的生理信號進行裁剪，截取情感刺激階段數據；對截斷后的數據進行線性插值，消除數據采集和處理過程中缺失值的影響；使用小波降噪法對數據進行降噪處理，消除噪聲對識別效果的影響。

3.如權利要求1中所述的一種基于多模態時空特征融合的情緒識別方法，其特征在于，所述預處理包括：

原始的情緒數據集中包含情感刺激階段和自我評估截斷，對原始的情緒數據集中的生理信號進行裁剪，截取情感刺激階段數據；

對截斷后的數據進行線性插值，消除數據采集和處理過程中的缺失值影響；

使用小波降噪法對數據進行降噪處理，消除噪聲對識別效果的影。

4.如權利要求3中所述的一種基于多模態時空特征融合的情緒識別方法，其特征在于，將預處理后的多模態生理數據轉換成灰度圖像輸入到神經網絡中，從灰度圖像中提取多模態數據的空間特征。

5.如權利要求3中所述的一種基于多模態時空特征融合的情緒識別方法，其特征在于，將預處理后的多模態生理數據分別輸入到神經網絡中，提取多模態生理數據的時間特征。

6.如權利要求1中所述的一種基于多模態時空特征融合的情緒識別方法，其特征在于，對神經網絡中提取的多模態生理數據的時間特征和空間特征進行特征級融合，得到融合特征，用于情感識別任務，具體過程為：使用CountSktech算法統計各個元素出現的頻率，實現從高維到低維的映射；通過雙線性池化方法對降維后的特征進行融合，得到融合特征。

7.如權利要求1中所述的一種基于多模態時空特征融合的情緒識別方法，其特征在于，根據得到的融合特征，進行分類任務，得到最終情緒識別結果，具體過程為：訓練SVM分類器；將融合特征輸入到分類器中，得到最終識別結果。

8.一種基于多模態時空特征融合的情緒識別系統，其特征在于，包括以下步驟：

獲取模塊，被配置為獲取原始生理數據，對所獲取的原始生理數據進行預處理，得到多模態生理數據；

融合模塊，被配置為基于所得到的多模態生理數據分別提取多模態數據的空間特性和時間特性，對所提取到的多模態數據的空間特性和時間特性進行特征級融合，得到融合特征；

識別模塊，被配置為根據所得到的融合特征進行分類，得到情緒識別的結果。

9.一種計算機可讀存儲介質，其上存儲有程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一項所述的基于多模態時空特征融合的情緒識別方法中的步驟。

10.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-7中任一項所述的基于多模態時空特征融合的情緒識別方法中的步驟。