[發明專利]基于情感上下文的視覺語音多模態協同分析方法及系統

有效

• 申請號: 201210512385.0
• 申請日: 2012-12-04
• 公開（公告）號: CN103123619A
• 公開（公告）日: 2013-05-29
• 發明（設計）人: 毛啟容;趙小蕾;詹永照;白李娟;胡素黎;董俊健
• 申請（專利權）人: 江蘇大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 江蘇致邦律師事務所 32230
• 代理人: 樊文紅

技術領域

本發明涉及情感識別技術領域，尤其涉及一種基于情感上下文的視覺語音多模態協同情感分析方法及系統。?

背景技術

隨著多媒體技術的發展，基于音視頻的情感分析、識別研究對于增強計算機的智能化和人性化、開發新型人機環境、以及推動多媒體技術和信號處理等相關領域的發展有著重要的意義?，F有的情感識別研究，還存在較多局限性，研究成果主要集中在對單通道的情感分析，現有關于多通道融合的情感分析研究也主要針對表情和語音兩個通道，研究的對象局限于實驗室內的少數幾個表演者范圍內，且未考慮活動發生的真實場景，忽略了分析對象所處的上下文環境，從而導致目前的情感識別方法脫離實驗環境后識別準確率下降明顯，實際應用效果不理想。?

在研究中發現，人類情感在一定程度上依賴于所處的具體環境，相同的表情、語音以及姿態在不同的場景中有可能表達不同的情感。因此，情感分析的準確率和待分析對象所處的環境有著密切的關系，有研究者提出了將上下文信息引入情感分析的思想，取得了較好的效果。這一研究成果告訴我們，充分挖掘更豐富、更細微的待分析對象的情感上下文信息可有效地提高情感分析的準確率。為了充分發揮表情信息、語音情感信息、姿態以及情感上下文的作用，提高基于視覺語音的自然交互情感分析的準確率和魯棒性，必須對多個通道所獲得的情感信息進行融合。?

有鑒于此，有必要提供一種基于情感上下文的視覺語音多模態協同情感分析方法及系統以解決上述問題。?

發明內容

本發明針對原有多通道情感識別主要集中在表情和語音兩個通道，且未考慮情感上下文的問題，充分利用情感上下文，表情、語音以及姿態中所包含的情感信息，對情感特征進行結構化稀疏表示，提供了一種基于情感上下文的視覺語音多模態協同情感分析方法及系統。?

為了實現上述目的，本發明實施例提供的技術方案如下：?

一種基于情感上下文的視覺語音多模態協同情感分析方法，所述方法包括：?

S1、動態提取與分析視覺語音場景中基于情景和分析對象的情感上下文信息，所述情感上下文信息包括視覺語音場景所包含的先驗情感上下文信息和時空上下文信息；?

S2、實時提取視覺場景中分析對象的視覺情感特征和語音場景中分析對象的語音情感特征，所述視覺情感特征包括姿態特征和表情特征；?

S3、對情感上下文信息、姿態特征、表情特征和語音情感特征分別進行結構化稀疏表示；?

S4、采用情感分類代理對多模態的情感信息進行協同分析和識別。?

作為本發明的進一步改進，所述步驟S1中的先驗情感上下文信息包括環境上下文信息、情景上下文信息、分析對象個人上下文信息。?

作為本發明的進一步改進，所述步驟S2中視覺情感特征的提取具體為：?

采用膚色跟蹤算法，檢測視頻幀中分析對象頭部、雙手的位置；?

采用均值偏移目標跟蹤算法，跟蹤及分析所述分析對象的頭部、雙手的運動軌跡，確定頭部、雙手運動的起始幀和結束幀；?

提取分析對象頭部、雙手的運動起始幀和結束幀之間的視頻序列的每一幀中頭部、雙手的運動特征，所述運動特征包括能量、空間范圍、運動平滑度、對稱性以及頭部向前、向后的運動信息；?

基于統計學原理，提取分析對象頭部、雙手的運動特征中的最大值、平均值、標準方差以及最大運動峰值持續時間。?

作為本發明的進一步改進，所述步驟S3中采用結構化稀疏表示方法表示所提取的情感特征具體為：?

S31、將非線性分類鑒別的準則嵌入到結構化稀疏表示的字典優化求解中；?

S32、采用監督學習實現不斷優化求解所述稀疏表示的字典；?

S33、根據求解出的字典求出情感特征的稀疏化表示形式。?

作為本發明的進一步改進，所述步驟S31中非線性分類鑒別的準則嵌入到結構化稀疏表示得到的非線性可鑒別稀疏表示準為：?