[發明專利]基于多模態情緒識別系統的語音信號分析子系統

有效

• 申請號: 201810612829.5
• 申請日: 2018-06-14
• 公開（公告）號: CN108899050B
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 俞旸;凌志輝
• 申請（專利權）人: 南京云思創智信息科技有限公司
• 主分類號: G10L25/63
• 分類號: G10L25/63;G10L25/30;G10L15/18;G10L15/24;G10L15/25;G06K9/00;G06K9/62;G06N3/04
• 代理公司: 南京知識律師事務所 32207
• 代理人: 張蘇沛

1.一種基于多模態情緒識別系統的語音信號分析子系統，它包括數據采集設備、輸出設備，其特征在于：它還包括情緒分析軟件系統，所述情緒分析軟件系統通過對所述數據采集設備得到的數據進行綜合分析推理，最終把結果輸出至所述輸出設備上；所述情緒分析軟件系統包括基于語音信號的情緒識別子系統、基于面部圖像表情的情緒識別子系統、基于文本語義的情感分析子系統和基于人體姿態的情緒識別子系統；

所述基于語音信號的情緒識別子系統，基頻、時長、音質和清晰度聲學參數是情緒的語音特征量，建立情緒語音數據庫，不斷提取新的語音特征量是語音情緒識別的基本方法；

所述基于面部圖像表情的情緒識別子系統是在特定的情緒狀態下人們會產生特定的表情模式，基于動態圖像序列和表情圖像的運動信息，基于區域的光流模型和基準光流算法從復雜背景和多姿態表情序列中有效地獲得運動場信息；

所述基于文本語義的情感分析子系統，文本情緒分析可分為詞語、句子、篇章三個級別，基于詞語的方法是分析情緒特征詞，根據閾值判斷詞語極性或者計算詞匯語義的相似度；基于句子的方法是對每個句子采樣情緒標簽，抽取評價詞語或者獲取評價短語進行分析；基于篇章的方法是在句子情緒傾向分析的基礎上進行篇章的整體情緒傾向性分析；

所述基于人體姿態的情緒識別子系統，提取身體情緒狀態下的典型樣例，對每個姿勢進行判別分析出相近情緒的細微差別，建立特征庫，根據人體動作的持續時間、頻率運動性質作為評判依據，從中提取物理運動信息來進行識別；

所述基于文本語義的情感分析子系統，基于深度卷積神經網絡CNN改進的一個情緒識別方法，子系統利用在目標領域內產生的詞匯語義向量對問題領域內的文本進行情緒分類，它的輸入是以矩陣表示的句子或者文檔，矩陣的每一行對應于一個分詞元素，每一行是表示一個單詞的向量，這些向量都是word embeddings的形式，從上一模塊獲得，或者根據詞在詞表中的索引；

子系統的第二層是卷積神經網絡層；

子系統的第三層是基于時間的聚會層，從前一個卷積層提取出的特征信息當中，找出它們在時間軸上的關聯關系，將前一層中的每個特征矩陣中的時間維度上的相應變化總結歸納，從而形成更加濃縮的特征信息；

子系統的第四層是最后的全連接預測層，首先是將前一層得到的濃縮的特征信息，進行全排列和組合并搜索所有可能的相應權重組合，從而發現它們之間的共同作用的方式；下一個內部層是Dropout層，指在模型訓練時隨機讓網絡某些隱含層節點的權重不工作，不工作的那些節點暫時認為不是網絡結構的一部分，但是它的權重得保留下來，因為下次樣本輸入時它可能又得工作了，再下一個內部層是tanh，這是一個非線性的邏輯轉化，最后一個內部層是softmax，它是多分類中常用的激活函數，是基于邏輯回歸的，它將每個需要需要預測的可能類別的概率進行銳化，從而使得預測的類別脫穎而出；

所述基于人體姿態的情緒識別子系統，基于動作識別的情緒提取是指根據數據輸入源，首先進行運動數據的表征和建模，再進行情緒的建模，得到關于動作和情緒的兩套表征數據；之后運用現有的基于運動數據的動作識別方法，將其連續的動作準確地識別出來，得到該數據的動作信息；再將之前獲得的情緒模型與情緒數據庫進行匹配對應，過程中加以動作信息的輔助，最終提取出輸入數據的情緒；具體為：

·人體建模

首先是對于人體的關節點進行建模，把人體看作是一個有著內在聯系的剛性系統，它包含骨骼以及關節點，骨骼和關節點的相對運動構成了人體姿態的變化，即平時所說的描述動作，在人體眾多關節點中，根據對情緒影響的輕重，忽略手指與腳趾，將人體的脊柱抽象為頸、胸和腹部三個關節，總結出一個人體模型，其中上半身包括頭、頸、胸部、腹部、兩個大臂和兩個小臂，而下半身包括兩個大腿、兩個小腿；

·情緒狀態提取

對于選擇的情緒狀態，分別選取了人體正常情況下進行每種情緒狀態的表達，并對肢體反應進行詳細分析；由于人體被抽象成為了剛體模型，首先是人體重心的移動，分為向前、向后和自然態；除了重心的移動之外，其次是關節點的轉動，人體發生動作變化，并且和情緒相關的關節點包括頭、胸腔、肩膀和肘部，對應的動作為頭部的彎曲、胸腔的轉動、上臂的擺動和伸展方向，以及肘部的彎曲，這些參數結合上重心的移動，總共包括了七個自由度的移動，表達出一個人上半身的動作。