[發明專利]基于微表情、肢體動作和語音的多模態情感識別方法

有效

• 申請號: 202111033403.2
• 申請日: 2021-09-03
• 公開（公告）號: CN113469153B
• 公開（公告）日: 2022-01-11
• 發明（設計）人: 陶建華;張昊;劉斌;連政
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G10L25/63
• 代理公司: 北京華夏泰和知識產權代理有限公司 11662
• 代理人: 孫劍鋒;李永葉

本發明提供了一種基于微表情、肢體動作和語音的多模態情感識別方法，包括：第一步輸入受試者接收某種信號的刺激的面部視頻，對微表情進行識別；第二步輸入受試者接收某種信號的刺激的身體視頻，對肢體動作進行識別；第三步輸入受試者接收某種信號的刺激的音頻信號，對語音情感進行識別。將步驟第一步中的微表情識別結果和步驟第二步中肢體動作識別結果和第三步中的語音情感識別結果相融合，判斷當前受試者的連續情感狀態。本方法通過微表情識別出的情感和肢體動作識別和語音情感識別結果情感相結合，更準確的預測出受試者的情感狀態。本發明的有益效果是：相較于現有技術，本發明可以更加準確的識別出人的真實情感。

技術領域

本發明涉及圖像處理與模式識別領域，具體涉及基于微表情、肢體動作和語言的多模態情感識別方法。

背景技術

隨著技術的發展，計算機已經成為生活中必不可少的一部分。人類隨時隨地都會有喜怒哀樂等情感的起伏變化。如何使計算機理解人類的情感成為了一個研究熱點。科學家們通過賦予計算機系統類似于人類的觀察、識別、理解、表達以及生成各類情感表現的能力，從而令計算機系統具備更高、更全面的智能，能使其如同人類般進行自然、生動且親切地交流與互動。在很多場景中情感識別是很有必要的，比如在人機交互的過程中，智能服務機器人如果可以準確的識別人們的情感的，那么會帶來更好的服務，讓人機交互更加自然，順暢，有溫度。

微表情是一種持續時間僅為1/25秒至1/5秒的非常快速的表情, 表達了人試圖壓抑與隱藏的真正情感。在有些場景下人類會盡力掩飾自己的真實情感，甚至做出與真正情感相反的表情，但是在這種情況下，會產生一種非常快速并且動作幅度非常微弱的表情，這種表情被稱為微表情。由于微表情可以表達出人類內心真實的情感，所以在預測情感上具有很大的前景。

肢體動作是人類表達情感的重要組成部分，蘊含了豐富的情感信息，相比于基于面部的情感識別，由于肢體動作變化的規律較難獲取，基于肢體動作情感識別的研究較少。但是肢體動作的情感識別在現實復雜生活中的人機交互中會使表述更加生動，所以具有重要作用。

心理學家Albert Mehrabian通過研究發現，人們日常的交流中聲音及其特征(例如語調，語速)體現了38%的情感，語音交流是人與人最自然的一種交互方式，有效的識別出語音的情感是實現和諧化人機交互的重要組成部分之一。

在情感分類中，Ekman 將情感分為基本的六類基本表情包括：憤怒(anger)、恐懼(fear)、厭惡(disgust)、驚奇(surprise)、悲傷(sadness)和高興(happiness)。此外在后續研究中，研究學者加入了中性(neutral)、緊張(nervous)和放松(relaxed)等表情，使表情分類更加完善。

現有技術中公開了，通過拍攝裝置獲取用戶指定身體區域的圖像，所述指定身體區域的圖像包括肢體圖像和面部圖像；通過第一處理規則對所述面部圖像進行解析，獲得用戶的微表情特征；通過第二處理規則對所述肢體圖像進行解析，獲得用戶的肢體動作特征；將所述肢體動作特征和微表情特征輸入情緒分析模型，獲得所述情緒分析模型輸出的所述用戶的情緒標簽。

現有技術中還公開了，通過對目標的行為視頻、圖片以及語音進行提取，分別獲取目標在不同情緒下的面部表情以及四肢行為的圖片及視頻，獲取在相應情緒下的語音數據，豐富數據集，予以標注后制作成訓練集。后使用CNN訓練圖片及視頻幀數據，關鍵點為面部表情，頭部動作，四肢動作，整體動作頻率，這4點訓練成一個集成模型，其次使用LSTM訓練語音數據，最后將兩個模型進行集成訓練，合成集成模型，最終會產生3個模型，保證模型支持語音或圖片單獨檢測的能力。

但是，現實生活中，人類的情緒微妙又復雜，這些基于分類的表情識別具有局限性，無法反正完整的反應人類真實的情感。為了彌補上述分類的情感模型的不足和豐富面部表情的表達，本方法使用連續的情感模型來描述人們的情感即Arousal-Valence連續情感維度。它是一個多維度的模型，從心理學上的激勵、愉悅等不同角度描述情感，不同的情感角度是相互依賴的，也因此基于維度的情感模型具有更強的表達能力。