[發明專利]一種基于聯合損失多特征融合的人臉表情識別方法

在審

• 申請號: 202110697155.5
• 申請日: 2021-06-23
• 公開（公告）號: CN113642383A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 苗壯;林克正;李靖宇
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于聯合損失多特征融合的人臉表情識別方法，其特征在于，包括以下幾個步驟：

S1、對待識別的圖像進行人臉檢測，獲取人臉區域；

S2、對獲取的人臉圖像通過改進后的ResNet網絡進行特征提取；

S3、對獲取的人臉圖像通過VGG網絡進行特征提取；

S4、將步驟S2和步驟S3獲取的特征送入全連接層進行降維；

S5、將步驟S4中降維后的特征利用加權融合的方式融合成新的特征；

S6、將步驟S5中的新特征送入全連接層進行再降維，然后利用Softmax層對其進行類別預測，輸出類別信息。

2.根據權利要求1所述的聯合損失多特征融合的人臉表情識別方法，其特征在于，所述步驟S1包括：

S11、以SSD目標檢測網絡為基礎，將原基礎網絡VGG-16改為輕量化網絡MobileNet。

S12、將步驟S11網絡中的第7個深度可分離卷積層(淺層特征)與最后5層(深層特征)的特征圖進行融合，將這六層的特征圖分別重新調整為一維向量，再進行串聯融合，實現多尺度人臉檢測。

S13、目標檢測網絡由基礎網絡進行特征提取，元結構進行分類回歸和邊界框回歸。

3.根據權利要求2所述的基于聯合損失多特征融合的人臉表情識別方法，其特征在于，在所述步驟S2中包括：

S21、將S1中檢測到的的人臉圖像X＝(x₁,x₂,...,x_n)送入到ResNet網絡中，經過若干個殘差塊處理之后，獲取相應的全局特征f_S＝(f_S¹,f_S²,...,f_S^m)，其中卷積運算過程如下所示：

其中x_l和x_l+1分別表示的是第l個殘差單元的輸入和輸出。F是殘差函數，而h(x_l)＝x_l表示恒等映射，f是RRelu激活函數。從淺層l到深層L的學習特征為

S22、特征經過展平層之后獲到特征向量

4.根據權利要求3所述的基于聯合損失多特征融合的人臉表情識別方法，其特征在于，在所述步驟S3中，將S1中檢測到的人臉圖像經過VGG網絡若干層卷積運算和最大池化運算之后獲取到相應的局部特征f_V＝(f_V¹,f_V²,...,f_V^k)；特征經過展平層之后獲到特征向量