[發明專利]一種基于面部動作單元強度估計的表情分析方法

在審

• 申請號: 201710632597.5
• 申請日: 2017-07-28
• 公開（公告）號: CN107392164A
• 公開（公告）日: 2017-11-24
• 發明（設計）人: 夏春秋
• 申請（專利權）人: 深圳市唯特視科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于面部動作單元強度估計的表情分析方法，其特征在于，主要包括結構化深度條件隨機場(CRF)(一)；一元電勢(二)；成對電勢(三)；學習與推斷(四)。

2.基于權利要求書1所述的結構化深度條件隨機場(CRF)(一)，其特征在于，包括兩個設置，在第一個設置中，給定輸入面部圖像，首先將預定義的CNN層應用于(歸一化)輸入圖像，以生成特征圖；由于池層中的抽樣操作較低，所學習的深層特征的分辨率低于原始圖像；要嵌入目標結構，在網絡的(完全)連接的輸出層上放置一個CRF圖；這里，網絡的每個輸出(動作單元)表示該圖中的節點，并且使用該CRF中的成對連接對不同節點(動作單元)之間的關系進行建模；為了利用來自多個數據集的信息，使用數據增強學習方法(第二個設置)；在這種方法中，使用來自多個數據集的數據同時訓練卷積神經網絡(CNN)層，從而產生豐富的特征表示；由于這些數據集可能包含非重疊的動作單元(AU)集合，因此模型輸出是所有AU的并集；然而，對于AU的每個組合(數據集)，在CRF成對連接中學習不同的相關性，因為它們的動力學在整個數據集中可能會有很大差異；另一方面，通過共享這些數據集中的重疊AU的模型參數，共同執行圖中邊緣/節點的建模。

3.基于權利要求書2所述的結構化CRF，其特征在于，引入一個隨機場關聯到圖其中節點v∈V,|V|＝Q，對應于單獨的AU和派系從屬AU的子集，使用連接函數建模；用于圖像的似然條件x具有標簽y，定義如下：

P(y|x,Ω)=1Z(x)exp[-E(y,x,Ω)]---(1)]]>

其中，是配分函數和能量函數由一組一元函數和成對電勢函數定義的；

E(y,x,Ω)=Σq∈VU(yq,fd,φq)+Σq∈VV(yr,ys,fd,θr,s)---(2)]]>

其中，U是潛在一元函數，V是成對電勢函數；U和V的參數分別是φ和θ；使用f_d(x,W)計算輸入特征，其中x是輸入，W是網絡的權重。