[發明專利]基于LSTM音像融合的情感識別方法、裝置及存儲介質

有效

• 申請號: 201911058176.1
• 申請日: 2019-10-31
• 公開（公告）號: CN110826466B
• 公開（公告）日: 2023-10-03
• 發明（設計）人: 李浩然;傅杰;趙力;張玲
• 申請（專利權）人: 陜西勵愛互聯網科技有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/774;G06V10/80;G06V10/82;G06N3/0442;G10L17/26;G10L25/24
• 代理公司: 北京華仁聯合知識產權代理有限公司 11588
• 代理人: 王小芳

本申請公開了一種基于LSTM音像融合的情感識別方法、裝置及存儲介質，使采用了LSTM的模型，用更加細致的幀級特征來訓練模型，得到的情感識別準確。同時，采用了決策融合結合后期融合的方法，對語音情感識別的特征和面部表情識別的特征，能夠更加有效的融合兩種模態的識別結果，計算得到更加精準的情感識別結果。使得本專利提出的方法能夠更準確得到對預測對象的情感狀態，提高了情感識別的準確性和魯棒性。

技術領域

本申請涉及語音識別技術領域，尤其涉及一種基于LSTM音像融合的情感識別方法、系統、裝置及存儲介質。

背景技術

情感是人們在溝通過程中重要的信息，通常以面部表情、言語、文字、肢體動作等作為表達的載體。隨著信息技術的迅速發展，人們對智能設備的需求越來越旺盛，人機交互等智能化的越來越重要，情感識別技術在人機交互、汽車和飛機駕駛、醫療護理方面有著廣泛的應用和前景。

情感表達的模態包括面部表情、語音、文字、生理信號、姿勢等。目前主流的情感計算的方法主要分為單一模態的情感識別和多模態的情感識別兩種。

對于單一模態的特征做情感預測，有信息量不足和魯棒性差，容易受到外界各種因素干擾的問題。當前主流的情感識別方法主要為以面部表情為主，但單一模態的情感識別容易被干擾，比如低頭、面部有遮擋物時，單一模態的情感識別受到限制。同時，單一使用表情識別的情況下，對更加細微的表情不能夠充分地識別出來。多模態的情感識別方法，充分利用語音信息和表情信息的互補，能夠捕捉更加細微的情感狀態，能夠有效地提高情感識別的準確率和抗干擾性。

趙小明、張石清提出了一種基于壓縮感知的魯棒性語音情感識別方法，提供一種噪聲背景下的魯棒性語音情感識別方法；充分考慮到不同類型特征參數的有效性，將特征參數的提取從韻律特征和音質特征兩方面，擴充到梅爾頻率倒譜系數MFCC，進一步提高特征參數的抗噪聲效果，但是仍未解決聲學通道無法獲得信號時的情感識別。

發明內容

為了解決上述技術問題，本申請實施例提供一種基于LSTM音像融合的情感識別方法、系統、裝置及存儲介質。

本申請實施例第一方面提供了一種基于LSTM音像融合的情感識別方法，可包括：

獲取不同情感類別的視頻數據，建立數據庫，將數據庫中不同情感類別的數據打亂，隨機劃分訓練集合測試集；

對數據集上的語音數據提取特征，并輸入基于帶注意力機制的LSTM的表情情感識別模型，得到待識別情感類別狀態的新的特征；

對數據集上的圖像數據提取特征，并輸入基于帶注意力機制的LSTM的表情情感識別模型，得到待識別情感類別狀態的新的特征；

將語音數據和圖像數據的新的特征進行融合，利用融合后的特征訓練次級分類器模型；

獲取待識別視頻數據的語音特征和圖像特征，利用上述步驟獲取融合后的特征作為輸入數據，利用分類器模型得到最終預測的情感識別結果。

進一步地，所述獲取不同情感類別的視頻數據，建立數據庫，將數據庫中不同情感類別的數據打亂，隨機劃分訓練集合測試集包括：

獲取不同情感類別的視頻數據，并對視頻數據添加類型標簽；所述類型標簽為表情的類型；

將視頻數據的語音數據和圖像數據分別抽離；

將所獲取的視頻數據建立數據庫，將數據庫中不同情感類別的數據打亂，隨機劃分訓練集合測試集。

進一步地，所述對數據集上的語音數據提取特征，并輸入基于帶注意力機制的LSTM的表情情感識別模型，得到待識別情感類別狀態的新的特征包括：

對語音數據進行預加重處理后再進行分幀加窗處理；