[發明專利]一種多模態情感識別方法、裝置、電子設備及存儲介質

有效

• 申請號: 202110486305.8
• 申請日: 2021-04-30
• 公開（公告）號: CN113111855B
• 公開（公告）日: 2023-08-29
• 發明（設計）人: 羅紅;田瑞濛;孫巖
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/74;G06V10/764;G06V10/774;G06V10/80
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;趙元

本發明實施例提供了一種多模態情感識別方法、裝置、電子設備及存儲介質，該方法包括：提取待識別視頻中目標待識別人物的第一特征信息，基于預先得到的個性化差異消除參數對第一特征信息進行個性化差異消除，得到消除個性化差異后的第一特征信息；將消除個性化差異后的第一特征信息輸入至預先訓練得到的情感識別模型中，得到待識別視頻的情感識別結果。通過使用個性化差異消除參數，可以在一定程度上降低第一特征信息的個性化特征，并且由于預先訓練得到的情感識別模型具有更少的特異性，因此，該預先訓練得到的情感識別模型輸出的待識別視頻的情感識別結果的準確度較高。

技術領域

本發明涉及數據處理技術領域，特別是涉及一種多模態情感識別方法、裝置、電子設備及存儲介質。

背景技術

隨著人工智能的發展和普及，人們越來越依賴計算機的人機交互能力，而情感識別將能夠在一定程度上讓計算機像人一樣識別和表達情感，使人機交互更加自然。情感識別具有廣闊的應用前景，例如，在教育領域，通過識別學生的面部表情和視線聚焦位置來判斷學生的聽講專注程度；在醫療領域，采集病人的面部和語音信號來實時分析其是否出現情感異常狀況；在娛樂領域，通過自動化識別海量視頻中的人物情緒，提供特定情緒的視頻素材檢索服務。

情感識別是指計算機對采集到的與受試者相關的視頻、音頻、文本等信息進行分析和處理，從而得出受試者的情感狀態的過程。目前，在進行情感識別時，通常是采用包括語音信號、面部圖像、對話文本等訓練樣本的訓練集來訓練情感識別模型，并采用包括語音信號、面部圖像、對話文本等測試樣本的測試集來測試訓練完成的情感識別模型的準確度，在準確度符合要求時，使用該訓練完成的情感識別模型對待識別的視頻、音頻或者文本等信息進行情感識別。

然而，發明人發現，由于人物的面部表情、語音信息等都均具有特異性，因此，在使用該情感識別模型對與視頻樣本中的人物不同的受試者的視頻進行情感識別時，識別的準確度往往比較低。

發明內容

本發明實施例的目的在于提供一種多模態情感識別方法、裝置、電子設備及存儲介質，以實現提高情感識別的準確度。具體技術方案如下：

第一方面，本發明實施例提供了一種多模態情感識別方法，該方法包括：

提取待識別視頻中目標待識別人物的特征信息，其中，待識別視頻為包含至少一個待識別人物的視頻，第一特征信息為多種特征信息，每個待識別人物均具有多種特征信息；

基于預先得到的個性化差異消除參數，對第一特征信息進行個性化差異消除，得到消除個性化差異后的第一特征信息；其中，預先得到的個性化差異消除參數是基于視頻樣本集中每個視頻樣本的第二特征信息、該視頻樣本的中性情感標簽和非中性情感標簽得到的，第二特征信息的種類與第一特征信息的種類相同；

將消除個性化差異后的第一特征信息，輸入至預先訓練得到的情感識別模型中，得到待識別視頻的情感識別結果，其中，預先訓練得到的情感識別模型是基于消除個性化差異后的第二特征信息訓練得到的。

第二方面，本發明實施例提供了一種多模態情感識別裝置，該裝置包括：

提取模塊，用于提取待識別視頻中目標待識別人物的特征信息，其中，待識別視頻為包含至少一個待識別人物的視頻，第一特征信息為多種特征信息，每個待識別人物均具有多種特征信息；

消除模塊，用于基于預先得到的個性化差異消除參數，對第一特征信息進行個性化差異消除，得到消除個性化差異后的第一特征信息；其中，預先得到的個性化差異消除參數是基于視頻樣本集中每個視頻樣本的第二特征信息、該視頻樣本的中性情感標簽和非中性情感標簽得到的，第二特征信息的種類與第一特征信息的種類相同；

識別模塊，用于將消除個性化差異后的第一特征信息，輸入至預先訓練得到的情感識別模型中，得到待識別視頻的情感識別結果，其中，預先訓練得到的情感識別模型是基于消除個性化差異后的第二特征信息訓練得到的。