[發明專利]一種基于卷積神經網絡的人臉表情識別方法

有效

• 申請號: 201810717584.2
• 申請日: 2018-07-03
• 公開（公告）號: CN109033994B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 姜彥吉;葛少成;郭羽含;王光;楊帆
• 申請（專利權）人: 遼寧工程技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 梁焱

1.一種基于卷積神經網絡的人臉表情識別方法，其特征在于：該方法包括以下步驟：

步驟1、通過數碼相機、手機或監控設備對人臉表情圖片進行采集，利用互聯網下載FER-2013人臉庫與CK+人臉庫，獲得數量級較大的關于人臉的圖像，并將圖像分為訓練集與測試集兩部分；

步驟2、對采集的圖像進行預處理，將采集到的圖像統一裁剪為96*96像素大小，并將人臉位于該圖的中心位置，利用matlab軟件將人臉庫中的彩色圖像灰度化處理，得到96*96大小的灰度圖像；

步驟3、建立卷積神經網絡模型，該模型包括依序連接的兩個卷積層、一個子采樣層、一個卷積層、一個子采樣層、一個全連接層和一個Softmax分類層，各層分別如下：

(1)卷積層C1，卷積核大小為5*5，步長為1，卷積核個數為32，無填充；

(2)卷積層C2，卷積核大小為5*5，步長為1，卷積核個數為64，無填充；

(3)子采樣層S1，子采樣窗口大小為2*2，步長為1，無填充；

(4)卷積層C3，卷積核大小為5*5，步長為1，卷積核個數為128，無填充；

(5)子采樣層S2，子采樣窗口為2*2，步長為1，無填充；

(6)全連接層，包含300個神經元，將子采樣層S2的輸出特征圖轉化為一維向量；

(7)Softmax分類層，與全連接層中的神經元進行全連接，得到7個預測值；

具體的建立過程如下：

步驟3.1、將訓練集中的圖像輸入該模型中的卷積層，遍歷圖像中的子圖像像素值，卷積層第l層的j個特征圖輸出函數如下：

其中，l表示第l層，即為當前層，l-1即表示前一層；表示第l層的排列順序為j的特征圖；w_i，j表示當前層與前一層特征圖的卷積核；表示當前層的排列順序為j的特征圖的偏置；表示前一層第j個特征圖；θ()為激勵函數；M表示當前層特征圖個數；表示第j個特征圖連接前一層特征圖的數量；

步驟3.2、利用子采樣層，降低C2卷積層的維數，具體采用最大池化方法對卷積層C2的特征圖進行子采樣，只改變特征圖的大小，不改變特征圖的數量，最大池化的子采樣方法如下：

其中，R_h表示第h個子采樣區域，h取值為1～4，a_h表示在區域R_h范圍內的像素值，最大子采樣法是挑選像素值a_h中最大的值作為最終的子采樣結果；最后，獲得到S2層輸出的128個輸出特征圖；

步驟3.3、根據步驟3.2獲得的128個輸出特征圖，將這128個輸出特征圖轉化為一個特征向量，作為全連接層的輸入向量，輸出結果為一個特征向量，全連接層的輸入公式如下：

H_w，b(x)＝δ(W^Tx+b)

其中，H_w，b(x)表示全連接層的輸出，x表示全連接層輸入的一個特征向量，W為全連接層的權值向量；b表示偏置向量，δ()表示全連接層的激勵函數，如下：

其中，α取0.005；

步驟3.4、Softmax分類層采用7個神經元，對全連接層的神經元進行全連接，將全連接層輸出的特征向量輸入到Softmax分類層中，得到7個預測值，成為分類結果，即可判斷7種可識別的人臉表情；

步驟4、利用加權Fisher準則函數作為代價函數計算訓練的實際輸出結果與標簽值之間的誤差，通過反向傳播算法自頂向下傳遞差值，并利用權值更新公式更新權值；權值更新公式如下：

J＝J(W，b)-pJ_B+qJ_W

其中，J代表改進后的代價函數；J(W,b)代表輸出的概率值與圖像數據標簽之間的差值；J_B表示類間距離的代價函數，J_W表示類內距離的代價函數，p取0.02，q取0.01；m表示第c類中的樣本個數，n表示第d類中的樣本個數，c與d表示分類結果中的任意兩類類別；h_w，b(x)表示樣本的實際輸出值，x表示該樣本中128維的特征向量，即全連接層輸入的一個特征向量，y_c為該樣本的標簽值，μ_c表示第c類的樣本均值，μ_d表示第d類的樣本均值，ω(Δ_cd)表示權值；S_w表示類中樣本之間的距離；Δ_cd表示第c類與第d類之間的馬氏距離；erf()表示錯誤函數，p_c表示第c類的先驗概率值，t為計算積分中的一個變量；

使用監督學習方法訓練卷積神經網絡模型，訓練完后，保存訓練完成的網絡模型，設定的迭代次數為100次；

步驟5、輸入測試集的圖像到訓練模型中，計算識別率。

2.根據權利要求1所述的基于卷積神經網絡的人臉表情識別方法，其特征在于：所述步驟3.1中卷積層第l層的j個特征圖輸出函數的設置為0，激勵函數θ()采用ReLUs函數，ReLUs函數如下：

f(n)＝max(0，n)

其中，n表示的值。