[發明專利]一種基于聯合損失多特征融合的人臉表情識別方法

在審

• 申請號: 202110697155.5
• 申請日: 2021-06-23
• 公開（公告）號: CN113642383A
• 公開（公告）日: 2021-11-12
• 發明（設計）人: 苗壯;林克正;李靖宇
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

本申請涉及一種基于聯合損失多特征融合的人臉表情識別方法，包括：人臉檢測，獲取人臉圖像；將人臉圖像通過改進的ResNet網絡和VGG網絡分別提取特征；提取的特征通過全連接層進行降維；采用加權融合的方法融合特征；送入Softmax層進行分類，輸出人臉表情類別。本方法采用兩種神經網絡架構進行特征提取，充分融合提取到的特征。在訓練過程中使用了余弦損失與交叉熵損失加權聯合的損失函數，聯合后的損失函數可以實現對相同類別之間緊密結合以及不同類別之間較大分離的功能。

技術領域

本發明涉及一種人臉表情識別方法，屬于圖像識別領域。

背景技術

人臉表情識別是計算機視覺領域的研究熱點之一，其應用領域也十分廣泛的。包括有人機交互、安全駕駛、智能監護、輔助駕駛、案件偵測等。當前的人臉表情識別算法主要是基于傳統方法和基于深度學習方法。傳統的人臉特征提取算法主要有主成分分析(Principal ComponentAnalysis,PCA)、尺度不變特征變換(Scale-Invariant FeatureTransformation,SIFT)、局部二值模式(Local Binary Patterns,LBP)、Gabor小波變換以及方向梯度直方圖(Histogram Of Gradient,HOG)等，隨著研究的深入和人工智能技術的發展，深度學習方法在圖像識別領域大放異彩，深度神經網絡(Deep neural network,DNN)被應用于表情識別并取得了較好的成績。

然而目前的表情識別方法易受到圖片噪聲和人為干擾因素的影響造成識別率欠佳，而且單通道的神經網絡從圖像全局出發，容易忽略圖像局部特征，造成特征的缺失，單網絡模型提取特征單一是導致識別率較低的原因之一。

發明內容

本發明要解決的技術問題是人臉表情識別過程中單一卷積神經網絡特征損失的問題，提出了一種基于聯合損失多特征融合的人臉表情識別方法。

為了達到上述目的，本發明采用的技術方案是：

S1、對待識別的圖像進行人臉檢測，獲取人臉區域；

S2、對獲取的人臉圖像通過改進后的ResNet網絡進行特征提??；

S3、對獲取的人臉圖像通過VGG網絡進行特征提取；

S4、將步驟S2和步驟S3獲取的特征送入全連接層進行降維；

S5、將步驟S4中降維后的特征利用加權融合的方式融合成新的特征；

S6、將步驟S5中的新特征送入全連接層進行再降維，然后利用Softmax層對其進行類別預測，輸出類別信息。

進一步的，所述步驟S1中人臉檢測獲取人臉區域采用MSSD網絡模型，其具體方法包括：

S11、以SSD目標檢測網絡為基礎，將原基礎網絡VGG-16改為輕量化網絡MobileNet。

S12、將步驟S11網絡中的第7個深度可分離卷積層(淺層特征)與最后5層(深層特征) 的特征圖進行融合，將這六層的特征圖分別重新調整為一維向量，再進行串聯融合，實現多尺度人臉檢測。

S13、目標檢測網絡由基礎網絡進行特征提取，元結構進行分類回歸和邊界框回歸。

進一步的，所述步驟S2中對獲取的人臉圖像通過改進后的ResNet網絡進行特征提取的具體方法是：對ResNet網絡中的殘差塊進行改進，增加卷積操作，減少參數量，對網絡層數進行修改并引入預激活方法。所述步驟S2包括：