[發(fā)明專利]基于深度學(xué)習(xí)的人臉表情識別方法及裝置

在審

• 申請?zhí)枺?/td>: 201711067390.4
• 申請日: 2017-11-02
• 公開（公告）號: CN107729872A
• 公開（公告）日: 2018-02-23
• 發(fā)明（設(shè)計）人: 鄒建成;宋瑞
• 申請（專利權(quán)）人: 北方工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京北新智誠知識產(chǎn)權(quán)代理有限公司11100
• 代理人: 朱麗華

1.基于深度學(xué)習(xí)的人臉表情識別裝置，其特征在于，包括人臉識別模塊、預(yù)處理模塊、人臉表情識別模塊，

人臉識別模塊，用于從輸入圖像中識別出人臉區(qū)域圖像；

預(yù)處理模塊，用于對人臉區(qū)域圖像進(jìn)行預(yù)處理，將人臉區(qū)域圖像調(diào)整為正面人臉姿態(tài)的人臉區(qū)域圖像；

人臉表情識別模塊，用于將預(yù)處理后的人臉區(qū)域圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，輸出人臉表情識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的人臉表情識別裝置，其特征在于，將所述預(yù)處理后的人臉區(qū)域圖像裁剪為大小為227*227的特征圖，輸入所述卷積神經(jīng)網(wǎng)絡(luò)模型；

所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依序連接的2個卷積層、1個池化層、2個卷積層、1個池化層和2個全連接層；

1)卷積層I，卷積核大小為11*11，步長為4，卷積核個數(shù)為96，無填充；

2)卷積層II，卷積核大小為3*3，步長為2，卷積核個數(shù)為128，填充為2：

3)池化層I，卷積核大小為3*3，步長為2，無填充；

4)卷積層III，卷積核大小為3*3，步長為1，卷積核個數(shù)為256，無填充；

5)卷積層IV，卷積核大小為2*2，步長為2，卷積核個數(shù)為256，無填充；

6)池化層II，卷積核大小為2*2，步長為2，無填充；

7)全連接層I，將池化層II輸出的特征圖轉(zhuǎn)換為一維特征向量；

8)全連接層II，對全連接層I中的神經(jīng)元進(jìn)行全鏈接，得到7個預(yù)測值，輸入到Softmax分類器。

3.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)的人臉表情識別裝置，其特征在于，所述人臉識別模塊利用harr特征檢測算法、adaboost分類算法識別出所述人臉區(qū)域圖像。

4.根據(jù)權(quán)利要求2所述的基于深度學(xué)習(xí)的人臉表情識別裝置，其特征在于，所述預(yù)處理模塊將具有一定程度的姿態(tài)變化的人臉區(qū)域圖像利用仿射變換方法矯正為相似的正面人臉姿態(tài)的人臉區(qū)域圖像。

5.基于深度學(xué)習(xí)的人臉表情識別方法，其特征在于，包括：

識別人臉區(qū)域圖像；

將人臉區(qū)域圖像調(diào)整為正面人臉姿態(tài)的人臉區(qū)域圖像；

將調(diào)整后的人臉區(qū)域圖像輸入卷積神經(jīng)網(wǎng)絡(luò)模型，輸出人臉表情識別結(jié)果。

6.根據(jù)權(quán)利要求5所述的基于深度學(xué)習(xí)的人臉表情識別方法，其特征在于，所述卷積神經(jīng)網(wǎng)絡(luò)模型包括依序連接的2個卷積層、1個池化層、2個卷積層、1個池化層和2個全連接層；

1)卷積層I，卷積核大小為11*11，步長為4，卷積核個數(shù)為96，無填充；

2)卷積層II，卷積核大小為3*3，步長為2，卷積核個數(shù)為128，填充為2：

3)池化層I，卷積核大小為3*3，步長為2，無填充；

4)卷積層III，卷積核大小為3*3，步長為1，卷積核個數(shù)為256，無填充；

5)卷積層IV，卷積核大小為2*2，步長為2，卷積核個數(shù)為256，無填充；

6)池化層II，卷積核大小為2*2，步長為2，無填充；

7)全連接層I，將池化層II輸出的特征圖轉(zhuǎn)換為一維特征向量；

8)全連接層II，對全連接層I中的神經(jīng)元進(jìn)行全鏈接，得到7個預(yù)測值，輸入到Softmax分類器。

7.根據(jù)權(quán)利要求6所述的基于深度學(xué)習(xí)的人臉表情識別方法，其特征在于，利用harr特征檢測算法、adaboost分類算法識別所述人臉區(qū)域圖像。

8.根據(jù)權(quán)利要求6所述的基于深度學(xué)習(xí)的人臉表情識別方法，其特征在于，將具有一定程度的姿態(tài)變化的人臉區(qū)域圖像利用仿射變換方法調(diào)整為相似的正面人臉姿態(tài)的人臉區(qū)域圖像。