[發明專利]一種基于反饋卷積神經網絡的面部表情識別方法

有效

• 申請號: 201910256577.1
• 申請日: 2019-04-01
• 公開（公告）號: CN110059593B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 閆錚;劉恒廣
• 申請（專利權）人: 華僑大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82
• 代理公司: 廈門市首創君合專利事務所有限公司 35204
• 代理人: 張松亭;李艾華

1.一種基于反饋卷積神經網絡的面部表情識別方法，其特征在于，包括：

人臉檢測，采用MTCNN方法進行人臉檢測；

人臉姿態矯正，利用仿射變換矩陣對檢測到的人臉進行人臉姿態變換以進行矯正；

面部表情識別，通過訓練好的包括基本卷積神經網絡baseCNN和反饋層的反饋卷積神經網絡進行矯正后面部表情特征的提取，獲得面部表情的分類；所述面部表情的分類包括高興、憤怒、悲傷、恐懼、沮喪、驚訝和中性；

所述baseCNN包括4個卷積模塊、特征變換模塊以和分類器；其中4個卷積模塊用于從輸入的表情圖像中提取深度卷積特征；特征變換模塊用于將第四個卷積模塊輸出的深度卷積特征變換成128維的特征向量，用來表征輸入的表情圖像；分類器用于根據128維的特征向量預測出所屬的表情類別；

所述反饋層包括4個；每一個反饋層的輸入都是一個(h,w,c)維的張量X^l；其中，h、w和c分別對應著高、寬和通道這三個維度，而l指代第l個反饋層；將反饋層的反饋狀態g^l分解成空間反饋和通道反饋，如下

其中，和分別代表空間反饋和通道反饋；

將空間反饋和通道反饋的結果執行張量相乘積后送入sigmoid函數進行歸一化，作為反饋層的輸出；

所述空間反饋的具體實現為：

使用一個5層子網絡對空間反饋進行建模；所述子網絡由一個包括全局平均層、三個卷積核大小為3×3步幅為2的卷積層和尺度調整層；所述全局平均層的計算公式如下：

其中，代表第l個反饋層中空間反饋部分的第1個中間結果；代表X^l的第i個通道；i是一個臨時變量，用作通道索引標號。

2.根據權利要求1所述的基于反饋卷積神經網絡的面部表情識別方法，其特征在于，所述仿射變換矩陣的定義如下：

其中，θ表示左眼中心點到右眼中心點構成的向量與橫軸之間的夾角，變換過程為其中(x,y)和(x',y')分別為變換前的橫縱坐標和變換后的橫縱坐標。

3.根據權利要求1所述的基于反饋卷積神經網絡的面部表情識別方法，其特征在于，所述人臉姿態矯正之后還包括：

尺度變換，對每一幅人臉圖像進行尺度變換，將其縮放到統一的尺度100*100*3；其中，100為圖像長或者寬，3代表RGB三個色彩通道。

4.根據權利要求1所述的基于反饋卷積神經網絡的面部表情識別方法，其特征在于，訓練過程中，所述人臉姿態矯正之后還包括：

數據擴充：在訓練過程中將每一張圖像都進行水平翻轉并隨機旋轉-5°至5°之間的某個角度；將數據集按照類別分成7份，然后隨機選取一個類別并從中選擇一幅圖像重新生成數據集以得到類別均衡的數據集。

5.根據權利要求1所述的基于反饋卷積神經網絡的面部表情識別方法，其特征在于，所述通道反饋的具體實現為：

使用一個三層網絡來實現通道反饋，首先通過全局空間平均層執行擠壓操作，將分布在各個空間位置的局部特征聚合，具體計算公式如下：

其中，代表第l個反饋層中通道反饋部分的第1個中間結果；代表X^l的第(i,j)個空間位置隨影的所有通道值組成的向量；

接著通過兩個全連接層實現用于承載自頂向下的反饋信息，具體實現如下：

其中，代表第l個反饋層中通道反饋部分的第2個中間結果；代表第l個反饋層中通道反饋部分的第3個中間結果；ReLU是一種神經元激活函數，其數學式為ReLU(·)＝max(0,·)，其中“·”代表輸入；和分別代表兩個全連接層的參數矩陣，r表示壓縮率。