[發明專利]基于微表情、肢體動作和語音的多模態情感識別方法

有效

• 申請號: 202111033403.2
• 申請日: 2021-09-03
• 公開（公告）號: CN113469153B
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 陶建華;張昊;劉斌;連政
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L25/63
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 孫劍鋒;李永葉

1.基于微表情、肢體動作和語音的多模態情感識別方法，由攝像頭，麥克風和情感處理單元實現，其特征在于，所述方法包括：

S1：微表情的識別方法，

所述攝像頭采集情感分析受試者的面部視頻數據發送至微表情識別單元，得到基于微表情的情感識別結果；

所述微表情的識別方法，包括：

S11：裁剪出臉部區域圖像，并把宏表情與微表情的頂點幀作為一個表情樣本的A部分；提取宏表情與微表情的起始幀與頂點幀之間的光流特征，作為表情樣本的B部分；

S12：應用所述表情樣本的A部分的宏表情數據和所述表情樣本的B部分的宏表情的光流特征訓練第一深度學習網絡，生成預訓練網絡；

S13：應用所述表情樣本的A部分的微表情數據和所述表情樣本的B部分的微表情的光流特征輸入所述預訓練網絡，進行再訓練，生成微表情識別網絡；

S14：應用步驟S11對微表情的預測數據進行數據預處理，將處理后的微表情的預測數據輸入所述微表情識別網絡，得到基于微表情的情感識別結果；

S2：肢體動作的識別方法，

所述攝像頭采集情感分析受試者的肢體動作視頻數據并發送至肢體動作識別單元，得到基于肢體動作的情感識別結果；

所述肢體動作的識別方法，包括：

S21：獲取肢體動作視頻，將所述肢體動作視頻轉化為肢體動作的RGB圖像序列；通過人體骨架數據，得到18個人體骨骼關節點的二維坐標；將每個RGB圖像序列和人體骨骼關節點作為一個肢體動作樣本；

S22：構建雙流網絡，具體為：構建第二深度學習網絡提取肢體動作的RGB圖像特征和構建卷積神經網絡提取人體骨架特征；將所述肢體動作的RGB圖像特征和所述人體骨架特征結合，將得到的特征進行降維至一維，送入支持向量回歸模型來預測情感維度，構成肢體動作識別網絡；

S23：將所述肢體動作樣本輸入所述肢體動作識別網絡進行訓練，得到訓練后的肢體動作識別網絡；

S24：應用步驟S21對肢體動作的預測數據進行預處理，得到處理后的肢體動作預測數據，將所述處理后的肢體動作預測數據輸入所述訓練后的肢體動作識別網絡，得到基于肢體動作的情感識別結果；

S3：語音的識別方法，

所述麥克風采集情感分析受試者的語音信號并發射至語音情感識別模塊，得到基于語音的情感識別結果；

S4：多模態融合的識別方法，

將所述基于微表情的情感識別結果、基于肢體動作的情感識別結果和基于語音的情感識別結果進行加權融合，得到多模態融合的識別結果。

2.根據權利要求1所述的基于微表情、肢體動作和語音的多模態情感識別方法，其特征在于，所述語音的識別方法，包括：

S31：從麥克風獲取情感分析受試者的語音，通過采樣與量化將語音信號轉化為計算機識別的數字信號；

S32：對所述數字信號進行幀級的低層次聲學特征提取，得到語音特征集；

S33：將提取的語音特征集轉化為1582維語音特征向量，并重塑為1*1582語音特征向量；

S34：構建聯合網絡并添加注意力機制，將得到的1*1582語音特征向量輸入到聯合網絡中，提取語音特征，將得到的語音特征進行降維至一維，送入支持向量回歸模型來預測語音的情感維度，構成語音情感識別網絡，得到基于語音的情感識別結果。

3.根據權利要求2所述的基于微表情、肢體動作和語音的多模態情感識別方法，其特征在于，所述生成微表情識別網絡之后還包括：應用留一交叉驗證的方法驗證所述微表情識別網絡的準確率。

4.根據權利要求2所述的基于微表情、肢體動作和語音的多模態情感識別方法，其特征在于，所述得到訓練后的肢體動作識別網絡之后還包括：將20%的肢體動作樣本用來對訓練后的肢體動作識別網絡進行驗證。

5.根據權利要求2所述的基于微表情、肢體動作和語音的多模態情感識別方法，其特征在于，所述宏表情對應有宏表情的樣本，具體獲得宏表情的樣本的具體方法還包括：將宏表情數據隨機旋轉0°，90°，180°或270°。