[發明專利]一種基于反饋卷積神經網絡的面部表情識別方法

有效

• 申請號: 201910256577.1
• 申請日: 2019-04-01
• 公開（公告）號: CN110059593B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 閆錚;劉恒廣
• 申請（專利權）人: 華僑大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭;李艾華

本發明公開了一種基于反饋卷積神經網絡的面部表情識別方法，包括：首先采用攝像頭采集RGB圖像，然后對其進行預處理，預處理的步驟包括人臉檢測、人臉配準、尺度變換以及樣本擴充，然后將預處理后的表情圖像用于反饋卷積神經網絡的訓練和測試。所述反饋卷積神經網絡中包含有多個反饋層，使得反饋卷積神經網絡能盡可能多的提取到有助于識別表情的特征，而盡可能少的提取身份、姿態等無關特征，以提升模型識別表情的準確率和魯棒性。

技術領域

本發明涉及面部表情識別領域，具體涉及一種基于反饋卷積神經網絡的面部表情識別方法。

背景技術

面部表情是指利用計算機視覺技術從人臉圖像中預測出表情類別，它在揭示人的意圖、情感及其他內在狀態方面發揮著極大的作用，是機器感知人類情緒變化并與人類進行溝通的重要手段，在智能人機交互、健康監控、市場、教育、心理學以及輔助駕駛等方面具有廣泛的應用價值。

面部表情識別的流程包括圖像預處理、特征提取以及表情分類。目前主流的人臉檢測算法都是基于卷積神經網絡的，比如目前流行的MTCNN人臉檢測算法。檢測到人臉后，可以利用眼睛、嘴角、筆尖等面部關鍵點來矯正人臉姿態，并從矯正后的人臉中提取表情相關的特征，并進一步送入分類器預測其所屬的表情類別。

近年來基于卷積神經網絡的人臉檢測算法已經取得了很大的進展，一般來說人臉檢測的準確率要優于最終表情分類的準確率，它已經不是制約面部表情識別效果的短板，而面部表情特征的提取和表情的分類才是最大的影響因素。因此，好的面部表情識別系統不僅需要準確檢測人臉，更需要能夠有效描述表情變化的特征以及準確區分不同表情的分類器。基于上述問題，本發明主要考慮面部表情特征的提取與表情識別問題，搭建一個反饋卷積神經網絡來識別六種基本面部表情(高興、憤怒、悲傷、恐懼、沮喪、驚訝)和中性表情。

發明內容

本發明的主要目的在于提出一種基于反饋卷積神經網絡的面部表情識別方法，將相同結構的多個反饋層融入到baseCNN中，構建出一個反饋卷積神經網絡用于從預處理后的表情圖像中預測出其所屬的表情類別(高興、憤怒、悲傷、恐懼、沮喪、驚訝和中性)，對自然環境中的表情識別有較好的準確率和魯棒性。

本發明采用如下技術方案：

本發明一種基于反饋卷積神經網絡的面部表情識別方法，包括：

人臉檢測，采用MTCNN方法進行人臉檢測；

人臉姿態矯正，利用仿射變換矩陣對檢測到的人臉進行人臉姿態變化以進行矯正；

面部表情識別，通過訓練好的包括基本卷積神經網絡baseCNN和反饋層的反饋卷積神經網絡進行矯正后面部表情特征的提取，獲得面部表情的分類；所述面部表情的分類包括高興、憤怒、悲傷、恐懼、沮喪、驚訝和中性。

優選的，所述仿射變換矩陣的定義如下：

其中，θ表示左眼中心點到右眼中心點構成的向量與橫軸之間的夾角，變換過程為其中(x,y)和(x',y')分別為變換前的橫縱坐標和變換后的橫縱坐標。

優選的，所述人臉姿態矯正之后還包括：

尺度變換，對每一幅人臉圖像進行尺度變換，將其縮放到統一的尺度100x100x3；其中， 100為圖像長或者寬，3代表RGB三個色彩通道。

優選的，訓練過程中，所述人臉姿態矯正之后還包括：

數據擴充：在訓練過程中將每一張圖像都進行水平翻轉并隨機旋轉-5°至5°之間的某個角度；將數據集按照類別分成7份，然后隨機選取一個類別并從中選擇一幅圖像重新生成數據集以得到類別均衡的數據集。