[發明專利]基于跨連接多特征融合卷積神經網絡的面部表情識別方法

有效

• 申請號: 202010876454.0
• 申請日: 2020-08-27
• 公開（公告）號: CN112036288B
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 田元;李方迪;周曉蕾;王志鋒;董石;姚璜;周冪
• 申請（專利權）人: 華中師范大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 王琪

1.一種基于跨連接多特征融合卷積神經網絡的面部表情識別方法，其特征在于，包括如下步驟：

步驟1，對訓練的數據集以及需要進行表情識別的圖像進行人臉檢測、數據預處理，減少背景信息干擾；

步驟2，搭建一個跨連接多特征融合卷積神經網絡自動提取豐富有效的面部表情特征，將網絡的高低層次特征進行融合；

所述跨連接多特征融合卷積神經網絡包括4個卷積層Layer1、Layer3、Layer4、Layer6，5個池化層Layer2、Layer5、Layer7、Layer9、Layer11，2個Inception V1模塊和2個全連接層Layer12、Layer13；為了更好的提取表情特征，融入圖像的低層次特征，將池化層Layer5、Layer7、Layer9、Layer11所獲得的特征直接跨層送入全連接層同高層次語義信息進行特征融合作為目標函數的輸入；

步驟3，利用softmax進行面部表情分類，首先利用訓練的數據集對跨連接多特征融合卷積神經網絡進行訓練，然后利用訓練好的網絡對需要進行表情識別的圖像進行識別。

2.如權利要求1所述的一種基于跨連接多特征融合卷積神經網絡的面部表情識別方法，其特征在于：所述步驟1的具體實現包括以下子步驟，

步驟1.1，人臉檢測；具體實施方法是，采用HOG-SVM算法進行人臉檢測，去除大量與面部表情無關的多余背景信息，僅保留面部圖像作為表情識別的輸入數據，降低網絡對不同面部表情特征提取的難度；

步驟1.2，數據樣本擴充及圖像裁剪；具體實施方法是，采用圖像縮放、圖像裁剪、圖像翻轉、圖像鏡像以及添加高斯噪聲對獲得的面部圖像數據進行擴充，擴充后，得到的數據較實際采集得到的面部圖像數量擴大了4倍，然后，將所有面部圖像尺寸統一為224×224，單位：像素；

步驟1.3，對面部圖像數據進行標準化處理；具體實施方法是，采用Z-score標準化方法對數據進行標準化處理。

3.如權利要求1所述的一種基于跨連接多特征融合卷積神經網絡的面部表情識別方法，其特征在于：所述步驟2的具體實現包括以下子步驟：

步驟2中跨連接多特征融合卷積神經網絡的參數設置如下，其中k為濾波器的大小，n為通道數量，s為步長；

該網絡除第一層以外均采用3×3的濾波器去構建卷積層，采用2×2的濾波器去構建池化層；第一層采用7×7的卷積核；網絡的最后一個池化層采用平均池化，其余池化層均使用最大池化的方式進行采樣。