[發明專利]一種基于情感分布學習的情感成分分析方法及其系統

有效

• 申請號: 201510372221.6
• 申請日: 2015-06-30
• 公開（公告）號: CN104915658B
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 耿新;周穎
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 柏尚春

1.一種基于情感分布學習的情感成分分析方法，其特征在于，包括如下步驟：

1)獲取用于訓練的人臉表情圖像集，截取出人臉部分；

2)將圖像集中的所有圖像縮放到統一大小的分辨率；

3)對步驟2)中縮放后的圖像提取圖像特征向量；

4)請多人給每幅圖像的每種基礎情感進行打分，計算每種情感的平均分，并進行歸一化處理得到該幅圖像的情感分布向量；

5)計算每一對基礎情感之間的相關系數，利用這個相關系數計算權值矩陣；

6)使用圖像特征向量及其情感分布作為訓練集，將最大熵模型與Jeffrey散度以及步驟5中的權值矩陣結合起來，再加上兩個正則化項生成目標函數，并優化該目標函數得到用于情感分布預測的參數模型,具體方法為：

6.1)將權值加入到Jeffery散度中來計算兩個情感分布之間的差異，使用最大熵模型對預測分布建模，并加入兩個正則化項，生成的目標函數為：

式中，E表示真實的情感分布，表示預測的情感分布，表示加權Jeffery散度，ξ₁和ξ₂為平衡因子，θ_k表示參數θ的第k個行，表示參數θ每列的平均值組成的向量，θ_kr表示參數θ的第k行第r列個值；

6.2)將步驟4得到的情感分布加入一個虛擬標記v₀，再帶入到公式2表示的模型中，然后使用L-BFGS梯度下降法進行優化，訓練得到用于預測情感分布的參數模型，v₀的具體取法為：對于每一幅表情圖像，對其每種情感的平均分進行由大到小的排序，計算相鄰兩個情感分數之間的差，取出差值最大的那兩個情感標記分數，取其中間值，即為v₀的值；

7)對于待進行情感分布估計的圖像先經過步驟1、2、3提取人臉的特征向量，再使用步驟6中訓練出來的模型來預測情感分布，若情感標記所對應的值大于虛擬標記成分比，則判定為主要情感成分。

2.如權利要求1所述的基于情感分布學習的情感成分分析方法，其特征在于，所述步驟1中人臉部分截取的具體方法為：手工定位兩只眼睛的位置，計算兩只眼睛的中心點p、兩眼睛之間的距離d，截取出中心點p距離左邊緣的距離為l*d，距離右邊緣的距離為r*d，距離上邊緣的距離為t*d，距離下邊緣的距離為b*d的人臉部分，其中l、r、t、d為預設值，分別表示圖像從兩眼中心點p出發，向左右上下所要截取的距離關于兩眼距離的比例。

3.如權利要求1所述的基于情感分布學習的情感成分分析方法，其特征在于，所述步驟3中提取的人臉特征為LBP特征。

4.如權利要求1所述的基于情感分布學習的情感成分分析方法，其特征在于，所述步驟4為開心、生氣、驚訝、惡心、害怕、悲傷6種基礎情感打分，其中5分為最高分，表示表情與情緒的相關度高，1分為最低分，表示表情與情緒的相關度低。

5.如權利要求1所述的基于情感分布學習的情感成分分析方法，其特征在于，所述步驟5中權值矩陣的具體計算公式為：

λjk=1Λj(ρjk)η|ρjk|≥ϵ0otherwise---(1)]]>

式中，λ_jk為權值矩陣λ的元素，表示第j個情感與第k個情感同時發生的可能性，表示第j個情感與第k個情感之間的相關系數，S_j表示第j個情感的分數向量，由所有打分者對第j個情感的打分組成，表示第j個情感的分數平均值，S_k表示第k個情感的分數向量，由所有打分者對第k個情感的打分組成，表示第k個情感的分數平均值；Λ_j＝Σ_k(|ρ_jk)^η為歸一化因子，用來使得Σ_kλ_jk＝1；η是一個正的奇數，用來控制情感間相關系數所起的作用；ε是一個閾值，如果情感間相關系數的絕對值大于這個閾值，就認為起作用，否則就不予以考慮。