[發明專利]基于深度學習的人臉表情識別方法及裝置

在審

• 申請號: 201711067390.4
• 申請日: 2017-11-02
• 公開（公告）號: CN107729872A
• 公開（公告）日: 2018-02-23
• 發明（設計）人: 鄒建成;宋瑞
• 申請（專利權）人: 北方工業大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京北新智誠知識產權代理有限公司11100
• 代理人: 朱麗華

技術領域

本發明涉及一種基于深度學習的人臉表情識別方法及裝置，屬于圖像處理及計算機視覺技術領域。

背景技術

人臉表情攜帶著很大的信息量，通過分析人臉表情，進而分析人類的心理活動和精神狀態，具有廣泛的應用前景，目前已在互動游戲平臺、安全駕駛提醒、遠程教育系統、智能交通、輔助醫護等方面取得了良好的應用效果。

隨著信息技術的發展，深度學習技術已經在信號處理和計算機視覺等領域引起較大的反響，其本質是通過構建含有多層神經網絡和海量的訓練樣本，把低層特征組合起來形成高層特征進行表示，進而增強模型的分類或預測能力。區別于支持向量機和神經網絡等淺層學習方法，深度學習不僅強調了學習模型的深度，而且突出了特征學習對于網絡模型的重要性。經過不斷的發展，科研人員已對人臉表情識別問題進行了較多的研究，并提出了各種不同的方法，但將深度學習技術應用于人臉表情識別的研究成果還不是很多，尚未取得良好的識別效果。

發明內容

鑒于上述原因，本發明的目的在于提供一種基于深度學習的人臉表情識別方法及裝置，建立了一種卷積神經網絡模型，能夠識別多種人臉表情，識別效率高。

為實現上述目的，本發明采用以下技術方案：

一種基于深度學習的人臉表情識別裝置，包括人臉識別模塊、預處理模塊、人臉表情識別模塊，

人臉識別模塊，用于從輸入圖像中識別出人臉區域圖像；

預處理模塊，用于對人臉區域圖像進行預處理，將人臉區域圖像調整為正面人臉姿態的人臉區域圖像；

人臉表情識別模塊，用于將預處理后的人臉區域圖像輸入卷積神經網絡模型，輸出人臉表情識別結果。

將所述預處理后的人臉區域圖像裁剪為大小為227*227的特征圖，輸入所述卷積神經網絡模型；

所述卷積神經網絡模型包括依序連接的2個卷積層、1個池化層、2個卷積層、1個池化層和2個全連接層；

1)卷積層I，卷積核大小為11*11，步長為4，卷積核個數為96，無填充；

2)卷積層II，卷積核大小為3*3，步長為2，卷積核個數為128，填充為2；

3)池化層I，卷積核大小為3*3，步長為2，無填充；

4)卷積層III，卷積核大小為3*3，步長為1，卷積核個數為256，無填充；

5)卷積層IV，卷積核大小為2*2，步長為2，卷積核個數為256，無填充；

6)池化層II，卷積核大小為2*2，步長為2，無填充；

7)全連接層I，將池化層II輸出的特征圖轉換為一維特征向量；

8)全連接層II，對全連接層I中的神經元進行全鏈接，得到7個預測值，輸入到Softmax分類器。

所述人臉識別模塊利用harr特征檢測算法、adaboost分類算法識別出所述人臉區域圖像。

所述預處理模塊將具有一定程度的姿態變化的人臉區域圖像利用仿射變換方法矯正為相似的正面人臉姿態的人臉區域圖像。

一種基于深度學習的人臉表情識別方法，包括：

識別人臉區域圖像；

將人臉區域圖像調整為正面人臉姿態的人臉區域圖像；

將調整后的人臉區域圖像輸入卷積神經網絡模型，輸出人臉表情識別結果。

所述卷積神經網絡模型包括依序連接的2個卷積層、1個池化層、2個卷積層、1個池化層和2個全連接層；

1)卷積層I，卷積核大小為11*11，步長為4，卷積核個數為96，無填充；

2)卷積層II，卷積核大小為3*3，步長為2，卷積核個數為128，填充為2：

3)池化層I，卷積核大小為3*3，步長為2，無填充；

4)卷積層III，卷積核大小為3*3，步長為1，卷積核個數為256，無填充；

5)卷積層IV，卷積核大小為2*2，步長為2，卷積核個數為256，無填充；

6)池化層II，卷積核大小為2*2，步長為2，無填充；

7)全連接層I，將池化層II輸出的特征圖轉換為一維特征向量；

8)全連接層II，對全連接層I中的神經元進行全鏈接，得到7個預測值，輸入到Softmax分類器。

利用harr特征檢測算法、adaboost分類算法識別所述人臉區域圖像。

將具有一定程度的姿態變化的人臉區域圖像利用仿射變換方法調整為相似的正面人臉姿態的人臉區域圖像。

本發明的優點是：