[發明專利]基于多模態的情緒識別方法

有效

• 申請號: 201810613472.2
• 申請日: 2018-06-14
• 公開（公告）號: CN108805089B
• 公開（公告）日: 2021-06-29
• 發明（設計）人: 俞旸;凌志輝
• 申請（專利權）人: 南京云思創智信息科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06F40/30;G06F40/205;G06F40/289;G10L25/63;G10L25/30;G06N3/04
• 代理公司: 南京知識律師事務所 32207
• 代理人: 張蘇沛

1.一種基于多模態的情緒識別方法，它包括數據采集設備、輸出設備、情緒分析軟件系統，情緒分析軟件系統通過對數據采集設備得到的數據進行綜合分析推理，最終把結果輸出至輸出設備上，其特征在于，具體步驟為：

基于面部圖像表情情緒識別步驟，在特定的情緒狀態下人們會產生特定的表情模式，基于動態圖像序列和表情圖像的運動信息，基于區域的光流模型和基準光流算法從復雜背景和多姿態表情序列中有效地獲得運動場信息；

基于語音信號情緒識別步驟，基頻、時長、音質和清晰度聲學參數作為情緒的語音特征量，建立情緒語音數據庫，不斷提取新的語音特征量對語音情緒進行識別；

基于文本語義情感分析步驟，文本情緒分析分為詞語、句子、篇章三個級別，基于詞語的方法是分析情緒特征詞，根據閾值判斷詞語極性或者計算詞匯語義的相似度；基于句子的方法是對每個句子采樣情緒標簽，抽取評價詞語或者獲取評價短語進行分析；基于篇章的方法是在句子情緒傾向分析的基礎上進行篇章的整體情緒傾向性分析；

基于人體姿態情緒識別步驟，提取身體各種情緒狀態下的典型樣例，對每個姿勢進行判別分析出相近情緒的細微差別，建立特征庫，根據人體動作的持續時間、頻率運動性質作為評判依據，從中提取物理運動信息來進行識別；

基于生理信號情緒識別步驟，情緒的生理機制包括情緒感知和情緒的身體生理反應，情緒感知是情緒的主要產生機制，通過腦電信號反映大腦的不同生理反應，由于其信號的特殊性，通過時域、頻域和時頻域三種特征進行識別，時頻均譜熵值、分形維數都作為衡量腦部活動的特征量；

基于多輪對話語義理解步驟，對當前輪的輸入話語在傳統seq2seq的語言生成模型基礎上加入了情緒識別的注意力機制，對話管理里加入了時間序列上前面多輪對話里的情緒跟蹤；每個當前的用戶說的話語被輸入到一個雙向的LSTM編碼器里，接著把當前甄別到不同的情緒狀態輸入與剛才產生的用戶話語的編碼器輸出合并，共同輸入到解碼器里，這樣解碼器既有了用戶的話語也有了當前的情緒，之后生成的系統對話響應就是個性化、特定于當前用戶情緒狀態的輸出；情緒感知的信息狀態更新策略，對對話狀態進行更新的時機是，任意有新信息的時刻；對話狀態更新時，每次更新都是確定的，對于前一時刻同一系統狀態、同一系統行為，和相同的當前時刻用戶情緒狀態，必然產生，相同的當前時刻系統狀態；

基于時序多模態情緒語義融合關聯判斷步驟，每個RNN遞歸神經網絡把每個單模態情緒理解的中間神經網絡表示形式按時間序列組織起來，其中每個時間點上的一個神經網絡單元都來自單模態系統的神經網絡的中間層的對應時間點的輸出；經過每個RNN遞歸神經網絡的單一時間點的神經網絡后的輸出被輸送到多模態融合關聯判斷RNN遞歸神經網絡，多模態RNN遞歸神經網絡的每個時間點匯集了每個單模態的RNN遞歸神經網絡的當前時間點上的神經網絡輸出，在綜合了多模態后，每個時間點的輸出即是最終該時間點的情緒判斷結果。

2.根據權利要求1所述的基于多模態的情緒識別方法，其特征在于：以時序為基準將單模態下的情緒語義在時序對齊后進行訓練，從而實現時序上跨模態的自動關聯對應以及最終融合的綜合情緒識別、理解和推理判斷。

3.根據權利要求1所述的基于多模態的情緒識別方法，其特征在于：基于面部圖像表情情緒識別步驟，是基于VGG16和RESNET50為基礎的ensemble模型。

4.根據權利要求1所述的基于多模態的情緒識別方法，其特征在于：基于語音信號情緒識別步驟，是基于神經網絡多層感知模型MLP的對語音信號進行情緒識別的模型，首先，對連續的語音信號進行切分，從而得到離散的聲音細小單元，這些細小單元有部分重疊，從而讓模型更加好的分析當前單元，并且了解前后的上下文語音單元；之后模型提取語音能量曲線信息；再下一步，系統提取基頻曲線信息，音調特征由基頻特征來刻畫和構造，通過采用autocorrelation方法去提取基頻曲線。