[發明專利]一種預激活殘差深度可分離卷積網絡面部表情識別方法、裝置和載體

在審

• 申請號: 202011607372.2
• 申請日: 2020-12-30
• 公開（公告）號: CN112668486A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 劉云清;李棋;劉聰;顏飛;張瓊;彭月琪
• 申請（專利權）人: 長春理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/08;G06N3/04
• 代理公司: 北京睿博行遠知識產權代理有限公司 11297
• 代理人: 劉桂榮

本發明公開了一種預激活殘差深度可分離卷積網絡面部表情識別方法、裝置和載體，屬于人工智能領域，其包含人臉面部表情圖像進行預處理，淺層特征提取，得到基本的視覺特征，主要是眼睛，眉毛和嘴唇的形狀，下采樣進行深層特征提取，上采樣特征融合部分等過程，應用softmax激活函數以產生預測。本發明在人臉面部表情識別中能夠更精準的提取人臉特征，使用的參數數量更少并具有很高的分類識別準確率。

技術領域

本發明涉及人工智能領域，具體而言，涉及帶有一種預激活殘差深度可分離卷積網絡面部表情識別方法、裝置和載體。

背景技術

人臉表情是最直接、最有效的情感識別模式。隨著人工智能的發展，人機交互領域的研究熱點也逐漸增多，情感識別在以人為本的設計中引起了人們的關注，事實上，一些研究已經表明了機器解釋人類情感的重要性。人臉表情識別在輿情分析、輔助醫療、疲勞駕駛監督、網絡課堂教學質量分析等領域都發揮著非常重要的作用。面部表情作為一種非語言交流形式，比語言交流能更快地被理解，由于面部表情的多樣性和復雜性，且涉及心理學和生理學等多個學科，相對于人臉識別技術，表情識別發展較慢，且類別之間不完全相互獨立，給表情識別帶來了很多挑戰。

人臉表情識別過程包括三個階段:1.利用人臉檢測器檢測出包含人臉圖像中的人臉區域。2.從檢測到的人臉區域中提取人臉特征。3.面部特征分析:分析面部有限元運動，解讀面部表情。特征提取與特征分析是面部表情識別的關鍵環節。傳統特征提取時，所采用的是人為設定的特征，容易損失部分原有特征信息，而且由于特征維數較大增加了一定的運算量和復雜度。而卷積神經網絡不需要人為的設定特征，而是通過訓練網絡結構去自動學習特征，從而給出識別的結果，與早期手動提取特征的方法相比，卷積神經網絡是通過構建、組合多個卷積層來自動提取深層次的人臉表情特征，盡可能的避免人為提取特征的誤差，且同時具有極強的魯棒性，逐漸成為了主流方法。

由于人臉表情樣本的采集較為繁瑣、建立大型的專有人臉表情數據庫較為困難，故目前庫的數量有限、庫中樣本數量也相對較少。深度學習方法解決人臉表情識別問題時，雖然有區別于傳統人工設計特征的不便的優點，而且能夠利用網絡本身強大的學習能力自動提取深層次的人臉表情特征，從而進一步提高識別精確度。但由于表情識別問題的復雜性，網絡結構越來越復雜，參數不斷增加，計算復雜度越來越大，當樣本數量不夠時容易出現過擬合現象。

發明內容

本發明為解決上述小數據集的面部表情分類問題，而提供了一種預激活殘差深度可分離卷積網絡面部表情識別方法、裝置和載體，采用深度可分離卷積在增加并平衡網絡深度和寬度的同時不增加額外的計算負擔，更精準提取人臉表情特征，并在殘差塊中采用預激活的方式實現對模型的優化并減少過擬合的影響。

提供的技術方案為：

提供了一種預激活殘差深度可分離卷積網絡面部表情識別方法：

識別面部并采集面部照片得到數據樣本圖像；

數據樣本圖像輸入至淺層特征提取部分進行多次普通卷積運算以提取淺層特征，得到多幅淺層樣本數據特征圖；

每幅淺層樣本數據特征圖作為輸入通道輸入至下采樣層特征提取部分分別執行深層特征提取得到深層樣本數據特征圖；

深層樣本數據特征圖輸入至下采樣層特征提取部分全局平均池化后應用Softmax激活函數產生預測，并輸出訪問者面部面部表情預測結果；

其中，下采樣層特征提取部分包括預激活殘差深度可分離單元，預激活殘差深度可分離單元得到淺層樣本數據特征圖后進行深度可分離卷積運算后輸出深層樣本數據特征圖；

深度可分離卷積運算的執行過程包括逐次進行的深度卷積運算和逐點卷積運算；

深度卷積運算包括逐次進行的批歸一化運算、摻入Relu函數運算、通道卷積運算；