[發明專利]一種多模態情感識別方法及系統

有效

• 申請號: 202110333007.5
• 申請日: 2021-03-29
• 公開（公告）號: CN113076847B
• 公開（公告）日: 2022-06-17
• 發明（設計）人: 姜曉慶;陳貞翔;楊倩;鄭永強
• 申請（專利權）人: 濟南大學;山東思正信息科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06N3/08;G06N20/10;G10L15/05
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 閆圣娟

本公開提供了一種多模態情感識別方法及系統，所述方案通過情感視頻樣本中語音分量的一種新型、魯棒的端點檢測算法，利用壓縮感知理論下樣本重建過程中產生的預測殘差條件熵參數，計算正交匹配追蹤算法(OMP)算法迭代過程中的殘差條件熵差值，依據經驗閾值完成端點檢測，并基于重建樣本完成有聲段情感語音的特征學習；同時，通過情感語音的端點檢測結果，對面部表情圖像進行篩選，只保留具有活躍的情感語音同時間段的面部表情圖像，達到增強面部表情數據集的情感可去分性、減少冗余性的目的；情感語音特征與面部表情特征經特征融合，訓練有效的多模態情感識別模型，達到有效的多模態情感識別目的。

技術領域

本公開屬于情感識別技術領域，尤其涉及一種多模態情感識別方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

情感識別是情感計算領域內的研究熱點，情感語音與面部表情圖像這兩個模態的情感信號具有采集方便、情感信息量大的特點，是情感識別研究中重要的、且具有強相關性的兩類數據源。

發明人發現，目前用于多情感識別領域中的情感語音數據與面部表情圖像通常是對情感視頻樣本中的情感語音分量和圖像分量分別保存得到的。情感語音樣本的特征提取及學習均是針對有聲段進行，因而端點檢測是情感語音處理的一個必不可少的預處理步驟。情感視頻采集時易受到噪聲干擾，而且這種噪聲在情感語音中更明顯，噪聲很容易影響到情感語音的端點檢測精度，如何提高情感語音的抗噪性能、以及提高噪聲環境下的語音的特征提取精度是一個需要有效解決的重要問題。

另外，在面部表情圖像的采集上，現有的采集方式是把情感視頻樣本中所有的圖像都保存下來。在面部表情的慢變特性下，這種無區分、無篩選的面部表情圖像采集方式忽視不同模態情感表達方式之間的聯系，也并未考慮面部表情圖像的情感可區分性，造成所采集的表情圖像的情感可識別性低、冗余性大，導致后續情感識別研究中所訓練與學習的模型性能不佳。

發明內容

本公開為了解決上述問題，提供了一種多模態情感識別方法及系統。

根據本公開實施例的第一個方面，提供了一種多模態情感識別方法，包括：

提取情感視頻中的情感語音分量及情感圖像分量，并分別存儲；

利用情感語音殘差條件熵差值端點檢測方法對所述情感語音分量進行端點檢測，獲得每幀語音的端點檢測結果；

基于情感語音分量的端點檢測結果對情感圖像分量中的情感圖像進行篩選，剔除情感圖像分量中無聲段的情感圖像；

分別對重建后的情感語音分量和篩選后的情感圖像分量進行特征提取；

對情感語音分量的特征與情感圖像分量的特征進行融合，并通過融合特征對情感識別模型進行訓練；

利用訓練好的情感識別模型實現多模態的情感識別。

進一步的，所述情感語音殘差條件熵差值端點檢測方法是正交匹配追蹤算法迭代執行過程中所產生的預測殘差的基礎上實現。

進一步的，利用情感語音殘差條件熵差值端點檢測方法對所述情感語音分量進行端點檢測，包括以下步驟：

步驟(1)：對情感語音分量分幀得到短時語音幀，并獲取短時語音幀的觀測值；

步驟(2)：根據所述觀測值，計算上一次迭代估計值與觀測值的殘差及殘差與傳感矩陣的相關性；

步驟(3)：尋找觀測矩陣中相關性最大原子，更新信號重建的支撐集；

步驟(4)：使用最小二乘法對短時語音幀逼近，得到其估計值；

步驟(5)：更新殘差，計算殘差條件熵，迭代執行步驟(2)-步驟(5)，直至達到稀疏度條件后停止迭代；