[發(fā)明專利]一種基于深度學(xué)習(xí)的人臉表情識別方法

有效

• 申請?zhí)枺?/td>: 201310676648.6
• 申請日: 2013-12-11
• 公開（公告）號: CN103793718A
• 公開（公告）日: 2014-05-14
• 發(fā)明（設(shè)計）人: 張石清;趙小明
• 申請（專利權(quán)）人: 臺州學(xué)院;張石清;趙小明
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06N3/08
• 代理公司: 杭州賽科專利代理事務(wù)所 33230
• 代理人: 曹紹文

1.一種基于深度學(xué)習(xí)的人臉表情識別方法，其特征在于，該方法包含如下步驟：

步驟1、從人臉表情數(shù)據(jù)庫中提取人臉表情圖像；

步驟2、對人臉表情圖像進(jìn)行預(yù)處理；

步驟3、將預(yù)處理后的全部圖像分為訓(xùn)練樣本和測試樣本兩部分；

步驟4、將訓(xùn)練樣本用于深度信念網(wǎng)絡(luò)（DBN）的訓(xùn)練；

步驟5、將深度信念網(wǎng)絡(luò)（DBN）的訓(xùn)練結(jié)果用于多層感知器（MLP）的初始化；

步驟6、將測試樣本輸送到初始化后的多層感知器（MLP）進(jìn)行識別測試，實現(xiàn)人臉表情識別結(jié)果的輸出；

其中，

（1）人臉表情圖像的預(yù)處理，包括：

對人臉表情數(shù)據(jù)庫中的每一幅表情圖像進(jìn)行采樣，以便降低表情圖像的特征維數(shù)，并將表情圖像的每個像素值歸一化到方差為1和均值為0；

（2）深度信念網(wǎng)絡(luò)（DBN）的訓(xùn)練，包括：

深度信念網(wǎng)絡(luò)（DBN）的預(yù)訓(xùn)練(pre-training)和深度信念網(wǎng)絡(luò)（DBN）的調(diào)優(yōu)(fine-tuning)兩個步驟。訓(xùn)練過程中采用的圖像樣本來源于人臉表情數(shù)據(jù)庫中的訓(xùn)練樣本；

（3）多層感知器（MLP）的初始化，包括：

首先建立一個在隱層層數(shù)、隱層節(jié)點數(shù)上與深度信念網(wǎng)絡(luò)（DBN）完全一樣的多層感知器（MLP）模型。然后，將訓(xùn)練好之后的深度信念網(wǎng)絡(luò)（DBN）模型中的每一層隱層的網(wǎng)絡(luò)權(quán)重值，直接輸入給多層感知器（MLP）模型中相應(yīng)的每一層隱層網(wǎng)絡(luò)當(dāng)中，從而使得多層感知器（MLP）模型與訓(xùn)練好之后的深度信念網(wǎng)絡(luò)（DBN）模型，在隱層層數(shù)、隱層節(jié)點數(shù)、以及每一層隱層的網(wǎng)絡(luò)權(quán)重值三個方面上都保持一樣；

（4）人臉表情識別結(jié)果的輸出，包括：

對于人臉表情數(shù)據(jù)庫中的測試樣本，采用初始化之后的多層感知器（MLP）模型進(jìn)行人臉表情圖像樣本的識別測試，輸出人臉表情識別結(jié)果。人臉表情識別測試時，采用5次交叉驗證方法，即將全部表情圖像樣本平均分成5份，每次使用其中的4份數(shù)據(jù)作為訓(xùn)練樣本用于訓(xùn)練，剩下的1份數(shù)據(jù)作為測試樣本用于識別測試。這樣的識別實驗相應(yīng)重復(fù)5次，最后取5次的平均值作為識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的人臉表情識別方法，其特征在于：

所述深度信念網(wǎng)絡(luò)（DBN）的預(yù)訓(xùn)練(pre-training)，包括：

采用自下而上的無監(jiān)督學(xué)習(xí)方式進(jìn)行預(yù)訓(xùn)練，即使用無標(biāo)簽（unlabeled）的樣本數(shù)據(jù)，從底層開始，一層一層的往頂層進(jìn)行訓(xùn)練。深度信念網(wǎng)絡(luò)（DBN）的預(yù)訓(xùn)練具體過程如下：

由于RBM是一種能量模型，它的可視層和隱層之間關(guān)系可以用能量函數(shù)表示為

E(v,h;θ)=-Σi=1VΣj=1Hwijvihj-Σi=1Vbivi-Σj=1Hajhj]]>（式1）

其中，v_i,h_j分別代表可視層節(jié)點和隱層節(jié)點的狀態(tài)，一般取0或1；a_j和b_i表示對應(yīng)的偏置，w_ij表示它們之間的連接權(quán)重。模型產(chǎn)生可視層矢量的聯(lián)合概率為

p(v;θ)=Σhe-E(v,h)/ΣuΣhe-E(v,h)]]>（式2）

可視層和隱層之間的條件概率計算如下：

p(hj=1|v)=σ(Σi=1Vwijvi+aj)]]>（式3）

p(vi=1|h)=σ(Σj=1Hwijhj+bi)]]>（式4）

其中，σ(x)=(1+e^-x)^-1是Sigmoid函數(shù)，即神經(jīng)元的非線性作用函數(shù)。通過對概率的對數(shù)求偏導(dǎo)，可以得到RBM模型權(quán)重參數(shù)的更新值：

Δw=ϵ∂lnp(v)∂wij=ϵ(<vihj>data-<vihj>model)]]>（式5）

其中，ε表示學(xué)習(xí)率，<·>是對數(shù)據(jù)求期望。實際模型的無偏樣本往往很難獲得，一般采用對比散度的方法對重構(gòu)數(shù)據(jù)的采樣近似來更新網(wǎng)絡(luò)權(quán)重。下一層的輸入來自于上一層的輸出，以此傳遞，而作為最底層的輸入一般來自于觀測變量，也就是對象的原始特征數(shù)據(jù)，如圖像的像素值。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的人臉表情識別方法，其特征在于：

所述深度信念網(wǎng)絡(luò)（DBN）的調(diào)優(yōu)(fine-tuning)，包括：

采用自頂向下的監(jiān)督學(xué)習(xí)學(xué)習(xí)方式進(jìn)行調(diào)優(yōu)，即使用標(biāo)簽（labeled）的樣本數(shù)據(jù)進(jìn)行訓(xùn)練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)。通過調(diào)優(yōu)之后，使得深度信念網(wǎng)絡(luò)（DBN）模型中的每一層隱層的網(wǎng)絡(luò)權(quán)重值都能夠達(dá)到最優(yōu)值。深度信念網(wǎng)絡(luò)（DBN）的調(diào)優(yōu)具體過程如下：

根據(jù)輸入數(shù)據(jù)和重構(gòu)數(shù)據(jù)的誤差函數(shù)，利用反向傳播（BP）算法重新調(diào)整網(wǎng)絡(luò)的參數(shù)，最終使網(wǎng)絡(luò)達(dá)到全局最優(yōu)的過程。輸入數(shù)據(jù)和重構(gòu)數(shù)據(jù)的誤差函數(shù)為

L(x,x′)=||x-x′||22]]>（式6）

其中，x是輸入數(shù)據(jù)，x′是重構(gòu)數(shù)據(jù)，||·||₂表示重構(gòu)誤差的2范數(shù)形式，對誤差函數(shù)求權(quán)重的偏導(dǎo)，可以得到權(quán)重的更新值。