[發明專利]一種情感識別方法及裝置

在審

• 申請號: 201710210060.X
• 申請日: 2017-03-31
• 公開（公告）號: CN107169409A
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 范音;路香菊;李典
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙)11413
• 代理人: 馬敬,項京

技術領域

本發明涉及多媒體技術領域，特別是涉及一種情感識別方法及裝置。

背景技術

隨著人工智能技術的迅速發展，情感識別能夠通過畫面和聲音判斷人物情緒，讓機器真正“懂”用戶，這將極大促進視頻理解、人機交互等智能領域的發展。情感識別是視頻畫面情感、音頻情感識別等多個領域技術的綜合體。視頻畫面情感識別利用人工智能的算法，通過視頻畫面中人物表情、動作和姿態等信息識別出人物情緒。而音頻情感識別主要根據人在不同情感下語音信號的非平穩性特征，通過提取語音的音質、韻律、頻譜等聲學特征，來判斷情緒變化。

傳統的卷積神經網絡(CNN，convolutional neural networks)能提取出圖像的外觀特征，在圖像識別領域取得了很好的效果。然而，CNN只能處理單張圖像。因此，先通過CNN提取視頻每幀圖像的外觀特征，再通過遞歸神經網絡(RNN，Recurrent Neural Network)提取圖像序列的時間特征，通過視頻的外觀特征和時間特征識別視頻的情感。其中，情感類型可以分為憤怒、惡心、害怕、高興、悲傷、驚訝和中立七種基本情感。目前，由于帶有情感標注的數據量少，RNN情感識別尤其是某幾類情感(如惡心、驚訝)識別的準確度較低。

發明內容

本發明實施例的目的在于提供一種情感識別方法及裝置，以提高視頻情感識別的準確度。具體技術方案如下：

本發明實施例公開了一種情感識別方法，包括：

通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征，得到第一情感結果；

通過預先建立的三維卷積神經網絡模型識別所述待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征，得到第二情感結果；

在得到所述第一情感結果及所述第二情感結果時，對所述第一情感結果、所述第二情感結果進行融合計算，得到所述待識別視頻的融合結果；

根據所述融合結果中的最大值，通過預先建立的融合結果和情感類型的對應關系，得到所述待識別視頻的情感類型。

可選的，位于所述通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征，之前，所述方法還包括：

對所述待識別視頻進行預處理，得到所述待識別視頻的幀序列。

可選的，位于所述通過預先建立的遞歸神經網絡模型識別待識別視頻的幀序列中人臉的外觀特征和所述幀序列的時間特征，之前，所述方法還包括：

通過卷積神經網絡對FER2013數據庫中的具有基本表情的人臉圖像進行訓練，建立卷積神經網絡模型；

通過遞歸神經網絡對所述卷積神經網絡模型的外觀特征進行訓練，建立遞歸神經網絡模型；

通過三維卷積神經網絡對AFEW6.0數據庫中的具有基本表情的視頻片段進行訓練，得到三維卷積神經網絡模型。

可選的，所述對所述待識別視頻進行預處理，得到所述待識別視頻的幀序列的步驟，包括：

對所述待識別視頻中的每一幀圖片做仿射變換，得到所述幀序列。

可選的，所述對所述第一情感結果、所述第二情感結果進行融合計算，得到所述待識別視頻的融合結果的步驟，包括：

根據公式：W_video＝a₁×W_CNN-RNN+(1-a₁)×W_C3D，

得到融合結果W_video，其中，W_CNN-RNN為所述第一情感結果，W_C3D為所述第二情感結果，a₁為第一情感結果參數，1-a₁為第二情感結果參數，a₁為大于0且小于1的數值。

可選的，位于所述對所述第一情感結果、所述第二情感結果進行融合計算，之前，所述方法還包括：

提取所述待識別視頻的音頻特征，通過支持向量機模型識別所述音頻特征，得到音頻情感結果；

在得到所述第一情感結果、所述第二情感結果及所述音頻情感結果時，對所述第一情感結果、所述第二情感結果及所述音頻情感結果進行融合計算，得到所述待識別視頻的融合結果。

可選的，所述對所述第一情感結果、所述第二情感結果及所述音頻情感結果進行融合計算，得到所述待識別視頻的融合結果的步驟，包括：

根據公式：