[發明專利]一種基于情感分布學習的情感成分分析方法及其系統

有效

• 申請號: 201510372221.6
• 申請日: 2015-06-30
• 公開（公告）號: CN104915658B
• 公開（公告）日: 2018-03-20
• 發明（設計）人: 耿新;周穎
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 南京蘇高專利商標事務所(普通合伙)32204
• 代理人: 柏尚春

技術領域

本發明涉及模式識別和機器學習，特別涉及情感分布學習和人臉情感成分分析。

背景技術

人臉情感成分分析是根據一幅人臉表情圖像，估計出該圖像中6種基本情感所占的成分比。人臉表情分析技術目前主要的應用領域包括：1)人機交互，計算機通過估計人臉表情所包含的情感來給出一系列響應；2)安全領域，表情分析可對重要工作人員的疲勞、瞌睡等表情做出警報響應(如：長途汽車司機、核電站管理人員)；3)醫療領域，表情分析可用于機器人手術操作和電子護士的護理，可根據患者面部表情變化及時發現其身體狀況的變化，避免悲劇發生。因此人臉表情分析技術的研究與發展有著十分重要的意義。在以往的研究中，人臉表情識別方法往往只識別出一種最主要的情感，而這往往是不符合現實場景的，在很多的時候，人臉表情不僅包含一種情感，而是多種情感的混合，比如說：又驚又喜，喜憂參半等等。本專利提出的方法是識別出表情圖像中帶有的所有的情感，并且給出每種情感所占有的成分比。

假設我們使用6種基本情感：開心、生氣、驚訝、惡心、害怕、悲傷，記為(y₁,y₂,y₃,y₄,y₅,y₆)。我們提出的情感成分分析的方法，在訓練過程中使用一個情感分布向量表示這些基礎情感所占的比重，稱為成分比，表示為(E₁,E₂,E₃,E₄,E₅,E₆)，分布中每個值都屬于0到1之間，并且和為1。

發明內容

發明目的：針對現有表情分析方法僅識別出表情的一種情感的問題，本發明提出一種基于情感分布學習的情感成分分析方法及其系統，能夠學習出人類表情圖像中蘊含的所有情感及其所占比重，更符合現實生活中的情況并可以更好地匹配現實生活中的應用。

技術方案：為了解決上述問題，本發明提出一種基于情感分布學習的情感成分分析方法，包括如下步驟：

1)獲取用于訓練的人臉表情圖像集，截取出人臉部分；

2)將圖像集中的所有圖像縮放到統一大小的分辨率；

3)對步驟2)中縮放后的圖像提取圖像特征向量；

4)分別給每幅圖像的每種基礎情感進行打分，計算每種情感的平均分，并進行歸一化處理得到該幅圖像的情感分布向量；

5)計算每一對基礎情感之間的相關系數，利用這個相關系數計算權值矩陣；

6)使用圖像特征向量及其情感分布作為訓練集，將最大熵模型與Jeffrey散度以及步驟5中的權值矩陣結合起來，再加上兩個正則化項生成目標函數，并優化該目標函數得到用于情感分布預測的參數模型；

7)對于待進行情感分布估計的圖像新經過步驟1、2、3提取人臉的特征向量，再使用步驟6中訓練出來的模型來預測情感分布，表示各種基礎情感在該表情圖像中所占的成分比，若情感標記所對應的值大于虛擬標記成分比，則判定為主要情感成分。

所述步驟1中人臉部分截取的具體方法為：手工定位兩只眼睛的位置，計算兩只眼睛的中心點p、兩眼睛之間的距離d，截取中心點p距離左邊緣的距離為l*d，距離右邊緣的距離為r*d，距離上邊緣的距離為t*d，距離下邊緣的距離為b*d的人臉部分，其中l、r、t、d為預設值，分別表示圖像從兩眼中心點p出發，向左右上下所要截取的距離關于兩眼距離的比例。

所述步驟3中提取的人臉特征為LBP特征。

所述步驟4為開心、生氣、驚訝、惡心、害怕、悲傷6種基礎情感打分，其中5分為最高分，表示表情與情緒的相關度高，1分為最低分，表示表情與情緒的相關度低。

所述步驟5中權值矩陣的具體計算公式為：