[發明專利]一種基于面部動作單元強度估計的表情分析方法

在審

• 申請號: 201710632597.5
• 申請日: 2017-07-28
• 公開（公告）號: CN107392164A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術領域

本發明涉及表情分析領域，尤其是涉及了一種基于面部動作單元強度估計的表情分析方法。

背景技術

面部表情的識別和分析是人工智能領域的一個重要研究方向，它不但在社會生活中具有普遍意義，而且在計算機的情感計算方面也起著有重要作用。它通過自動識別出人的面部表情，進而分析人的感情和心理活動，可以應用于安全領域，在公共場合，如機場、地鐵站等處，通過安裝的攝像頭等監控設備來自動地分析人的表情和動作，通過這些分析進一步判斷人物心理，從而判斷可疑人物甚至是恐怖分子，進而阻止其犯罪行為；也可以幫助執法機構和情報機構更好地辨別可疑行為和欺騙行為。此外，表情變化識別也可以應用于客戶滿意度調查和兒童興趣點分析等，通過記錄人物的表情變化，進一步分析而獲得客戶反饋等。以前的識別方法由于面部形態變異性較大，導致缺乏適合的大型數據集用于有效的深層模型學習，因此識別準確性低。

本發明提出了一種基于面部動作單元強度估計的表情分析方法，結構化深度條件隨機場包括兩個設置，在第一個設置中，給定輸入面部圖像，將預定義的卷積神經網絡層應用于(歸一化)輸入圖像，生成特征圖，第二個設置為了利用來自多個數據集的信息，使用數據增強學習方法；在結構性深度條件隨機場中定義一元結點勢，當隨機變量為離散時，可以為離散變量構造聯合分布，從多個數據集增強學習生成的深度結構化條件隨機場的目標函數。本發明利用深層結構化學習，能夠處理高維輸入特征，圖像特征大大改進，性能也顯著提升，提高了面部動作單元強度估計的精確性。

發明內容

針對識別準確性低的問題，本發明的目的在于提供一種基于面部動作單元強度估計的表情分析方法，結構化深度條件隨機場包括兩個設置，在第一個設置中，給定輸入面部圖像，將預定義的卷積神經網絡層應用于(歸一化)輸入圖像，生成特征圖，第二個設置為了利用來自多個數據集的信息，使用數據增強學習方法；在結構性深度條件隨機場中定義一元結點勢，當隨機變量為離散時，可以為離散變量構造聯合分布，從多個數據集增強學習生成的深度結構化條件隨機場的目標函數。

為解決上述問題，本發明提供一種基于面部動作單元強度估計的表情分析方法，其主要內容包括：

(一)結構化深度條件隨機場(CRF)；

(二)一元電勢；

(三)成對電勢；

(四)學習與推斷。

其中，所述的結構化深度條件隨機場(CRF)，包括兩個設置，在第一個設置中，給定輸入面部圖像，首先將預定義的CNN層應用于(歸一化)輸入圖像，以生成特征圖；由于池層中的抽樣操作較低，所學習的深層特征的分辨率低于原始圖像；要嵌入目標結構，在網絡的(完全)連接的輸出層上放置一個CRF圖；這里，網絡的每個輸出(動作單元)表示該圖中的節點，并且使用該CRF中的成對連接對不同節點(動作單元)之間的關系進行建模；為了利用來自多個數據集的信息，使用數據增強學習方法(第二個設置)；在這種方法中，使用來自多個數據集的數據同時訓練卷積神經網絡(CNN)層，從而產生豐富的特征表示；由于這些數據集可能包含非重疊的動作單元(AU)集合，因此模型輸出是所有AU的并集；然而，對于AU的每個組合(數據集)，在CRF成對連接中學習不同的相關性，因為它們的動力學在整個數據集中可能會有很大差異；另一方面，通過共享這些數據集中的重疊AU的模型參數，共同執行圖中邊緣/節點的建模。

進一步地，所述的結構化CRF，引入一個隨機場關聯到圖其中節點v∈V,|V|＝Q，對應于單獨的AU和派系從屬AU的子集，使用連接函數建模；用于圖像的似然條件x具有標簽y，定義如下：

其中，是配分函數和能量函數由一組一元函數和成對電勢函數定義的；

其中，U是潛在一元函數，V是成對電勢函數；U和V的參數分別是φ和θ；使用f_d(x,W)計算輸入特征，其中x是輸入，W是網絡的權重。

其中，所述的一元電位，令l∈{1,…,L}是第q個AU的強度等級的序數標簽，采用標準閾值模型：

其中，β^q是序數投影矢量，是計數水平l的下限閾值

進一步地，所述的一元結點勢，通過假定誤差(噪聲)項ε^q是具有零均值和方差(σ^q)²的函數，它們的正常累積密度函數為和強度為l的動作單元q的概率定義為：

其中，該模型參數存儲在最后，在結構性深度CRF中的一元結點勢定義如下：