[發明專利]一種基于代價敏感卷積神經網絡的人臉表情識別方法

有效

• 申請號: 201810734523.7
• 申請日: 2018-07-06
• 公開（公告）號: CN108846380B
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 李慧芳;石峰娟;袁艷
• 申請（專利權）人: 北京理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 王民盛

本發明提出了一種基于代價敏感卷積神經網絡的人臉表情識別方法。在考慮人臉表情類別錯分帶來損失的基礎上，將錯分引起的代價融入模型訓練與參數優化全過程中，在模型訓練過程中，考慮不同表情類別的錯分所造成的不同影響，并根據錯分引起的損失大小自適應地調整模型參數，最大限度地降低表情類型錯分而引起的損失。本方法解決了現有基于卷積神經網絡的人臉表情識別模型中假定或默認不同表情類別錯分代價影響均等的問題，在提高表情識別精度的同時，降低因表情錯誤分類而引起的損失，具有較強的面部情感識別能力。

技術領域

本發明屬于智能人機交互技術領域，涉及一種人臉表情識別方法，具體地說，是指一種采用代價敏感的卷積神經網絡訓練人臉表情識別模型，并進行人臉表情識別的方法。

背景技術

表情是人類情感在面部的表達方式，包含了諸多人類情感和心理活動信息，表情識別旨在挖掘人類面部隱藏的情感特征并進行情感分類。目前，表情識別已成為互聯網及相關行業關注的熱點，尤其是交通安全、營銷策略、智能人機交互、情感機器人、智能家居等領域。

人臉表情識別主要包含人臉檢測、表情特征提取和情感特征分類三個部分，其中，表情特征提取是表情識別的核心，直接影響人臉表情識別的精度。淺層學習算法通過人工方式提取面部情感特征，在一定程度上會損失原有的情感信息，而數據驅動的深度學習算法，通過構建一種深層的非線性網絡結構，使其能夠自主地從樣本數據中學習更具表征能力的面部情感特征，從而提高面部表情識別精度。

卷積神經網絡(Convolutional Neural Network，CNN)是一種包含卷積單元的深度學習方法，受腦神經科學研究的啟發，旨在模擬視覺神經皮層中的神經元細胞對收到的視覺信息進行分層處理的過程機理，主要通過卷積層、池化層和全連接層獲取二維圖像在不同層次的特征。卷積神經網絡算法具有局部感知、權值共享和子采樣等特點，能夠獲取觀測數據對圖像平移、縮放和旋轉不變的顯著特征，已廣泛應用于人臉表情識別領域。然而，現有的卷積神經網絡算法在進行人臉表情識別過程中，默認或者假設不同表情類型的錯分所造成的損失或引起的代價相同。但是在現實應用場景中，不同表情類別因錯分而造成的損失代價大不相同，例如，基于表情識別結果的交通安全應用，希望檢測到司機“憤怒”或“焦慮”時，提醒其停車休息，以防交通事故發生；“瞌睡”時提醒其注意駕駛；“平靜”時提醒其正常駕駛。在這種請況下，將司機的表情狀態從“憤怒”錯分為“平靜”所造成的損失代價，遠遠大于從“平靜”錯分為“憤怒”的情況，前者可能引起人員傷亡，后者可能僅浪費一點時間?？梢?，不同表情的錯分代價均等這一假設與事實相悖。實際上，不同表情錯分結果的實際應用所造成的代價不同甚至相差很大，忽略表情錯分代價將必然降低人臉表情識別模型的實用性。

發明內容

本發明針對已有卷積神經網絡算法進行人臉表情識別時，忽略不同表情類別錯分而引起的代價問題，提出了一種基于代價敏感卷積神經網絡的人臉表情識別方法，在考慮人臉表情類別錯分帶來損失的基礎上，將錯分引起的代價融入模型訓練與參數優化全過程中，最大限度地降低表情類型錯分而引起的損失，提高了模型的實用性。

本發明在累計均方誤差的基礎上，結合表情類型錯分代價矩陣，設計了一種代價敏感的損失函數：

其中，k是指訓練樣本的個數，n是指輸出層神經元的個數，class(i)是指第i個訓練樣本的標簽，Cost_class(i),j是指將第i個訓練樣本的class(i)類錯分為j類的代價，y_ij分別是第i個訓練樣本對應輸出層第j個神經元的預測輸出值、實際輸出值。

以優化上式所示的損失函數為目標，構建代價敏感卷積神經網絡訓練策略，并基于該策略訓練人臉表情識別模型，包括以下技術內容：

根據不同表情類別錯分所帶來的影響，設計錯分代價矩陣；

構建卷積神經網絡模型，確定網絡層數和每層的神經元節點個數，并初始化權重矩陣和節點偏置等相關參數；