[發明專利]基于情感上下文的視覺語音多模態協同分析方法及系統

有效

• 申請號: 201210512385.0
• 申請日: 2012-12-04
• 公開（公告）號: CN103123619A
• 公開（公告）日: 2013-05-29
• 發明（設計）人: 毛啟容;趙小蕾;詹永照;白李娟;胡素黎;董俊健
• 申請（專利權）人: 江蘇大學
• 主分類號: G06F17/27
• 分類號: G06F17/27
• 代理公司: 江蘇致邦律師事務所 32230
• 代理人: 樊文紅

1.一種基于情感上下文的視覺語音多模態協同情感分析方法，其特征在于，所述方法包括：

S1、動態提取與分析視覺語音場景中基于情景和分析對象的情感上下文信息，所述情感上下文信息包括視覺語音場景所包含的先驗情感上下文信息和時空上下文信息；

S2、實時提取視覺場景中分析對象的視覺情感特征和語音場景中分析對象的語音情感特征，所述視覺情感特征包括姿態特征和表情特征；

S3、對情感上下文信息、姿態特征、表情特征和語音情感特征分別進行結構化稀疏表示；

S4、采用情感分類代理對多模態的情感信息進行協同分析和識別。

2.根據權利要求1所述的方法，其特征在于，所述步驟S1中的先驗情感上下文信息包括環境上下文信息、情景上下文信息、分析對象個人上下文信息。

3.根據權利要求1所述的方法，其特征在于，所述步驟S2中視覺情感特征的提取具體為：

采用膚色跟蹤算法，檢測視頻幀中分析對象頭部、雙手的位置；

采用均值偏移目標跟蹤算法，跟蹤及分析所述分析對象的頭部、雙手的運動軌跡，確定頭部、雙手運動的起始幀和結束幀；

提取分析對象頭部、雙手的運動起始幀和結束幀之間的視頻序列的每一幀中頭部、雙手的運動特征，所述運動特征包括能量、空間范圍、運動平滑度、對稱性以及頭部向前、向后的運動信息；

基于統計學原理，提取分析對象頭部、雙手的運動特征中的最大值、平均值、標準方差以及最大運動峰值持續時間。

4.根據權利要求1所述的方法，其特征在于，所述步驟S3中采用結構化稀疏表示方法表示所提取的情感特征具體為：

S31、將非線性分類鑒別的準則嵌入到結構化稀疏表示的字典優化求解中；

S32、采用監督學習實現不斷優化求解所述稀疏表示的字典；

S33、根據求解出的字典求出情感特征的稀疏化表示形式。

5.根據權利要求4所述的方法，其特征在于，所述步驟S31中非線性分類鑒別的準則嵌入到結構化稀疏表示得到的非線性可鑒別稀疏表示準則為：

minD,θ,α(Σj=1gΣi=1nj(C(f(α,θ),yi)+λ0||xi-Dαi||22+λ1||αi||1+λ2||αGj||2)+λ3||θ||22),]]>

其中，X={x₁，x₂，...x_n}為n個情感特征矢量集合，Y=(y₁，y₂，...y_m)為m個情感狀態矢量，D為稀疏表示字典，α={α₁，α₂，...，α_m}為m個情感特征稀疏編碼的集合，g為特征組的個數，n_j為第j個組內情感特征的個數，θ為核鑒別參數；f(α,θ)為將α映射到高維空間，利用核函數K建立的關于稀疏編碼α的非線性分類函數，C(f，y_i)為損失函數，λ₀，λ₁，λ₂，λ₃為懲罰因子。