[發明專利]一種半監督人臉情緒識別方法

在審

• 申請號: 202210160626.3
• 申請日: 2022-02-22
• 公開（公告）號: CN114529973A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 潘麗麗;邵偉志;馬俊勇;熊思宇
• 申請（專利權）人: 中南林業科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/74;G06V10/762;G06V10/766;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

本發明公開了一種半監督人臉情緒識別方法，包括獲取基礎圖像數據樣本；對標簽數據進行預測，計算預測值和標簽值之間的距離作為監督損失；將無標簽數據生成平滑偽標簽，將平滑偽標簽和預測值之間的距離作為半監督損失；構建基于相似性學習的三元組損失，包括對圖像數據的深度特征進行聚類，構建三元組，計算相似性三元組損失，構建完整損失函數，并根據梯度下降更新網絡參數；獲取半監督人臉情緒識別模型，并對當前的人臉圖像數據進行情緒分析。本發明在連續域數據集中識別準確高效，同時通過調整末端在離散域數據集中取得了優異的識別率；本發明通過基于相似性學習的三元組損失函數，能夠學習人臉圖像間的相似性，提高了情緒變化的識別率。

技術領域

本發明屬于計算機技術領域，具體涉及一種半監督人臉情緒識別方法。

背景技術

對人類情感的精確識別可以幫助人工智能實現人機交互。目前，情緒識別主流的方法包括基于特征的方法和基于深度學習的方法。特征提取的方法主要基于定向梯度直方圖和局部二進制模式，但這些特征不適用于數據的非線性結構，準確率不高。利用深度學習技術，基于面部表情的情感識別得到了顯著提高。深度學習技術需要大量標簽數據對神經網絡進行訓練，而這會導致訓練過程中需要耗費大量人力物力。目前常見的數據集包括離散域數據集和連續域數據集，其中，離散域數據集包含的數據有限，難以表達豐富的人類情感，而獲取連續域數據集標簽的成本高昂，訓練難度大。

發明內容

本發明的目的在于提供一種半監督人臉情緒識別方法(Semi-supervisedEmotion Recognition，簡稱為Semi Emotion)，本方法能夠簡單高效地識別豐富的人臉情緒。

本發明提供的這種半監督人臉情緒識別方法，包括如下步驟：

S1.獲取基礎圖像數據樣本，包括標簽數據和無標簽數據；

S2.采用CNN-LSTM(卷積神經網絡-長短期記憶網絡)回歸器對標簽數據進行預測，計算預測值和標簽值之間的距離作為監督損失；

通過CNN-LSTM回歸器，使用微調MixUp和時間集成為無標簽數據生成平滑偽標簽，將平滑偽標簽和預測值之間的距離作為半監督損失；

S3.構建基于相似性學習的三元組損失，包括對圖像數據的深度特征進行聚類，基于聚類結果構建三元組，通過三元組之間的相似度計算相似性三元組損失，并根據梯度下降更新網絡參數；

S4.通過監督損失、半監督損失和相似性三元組損失的加權構建CNN-LSTM回歸器的完整損失函數，根據損失值和梯度下降更新網絡參數獲取半監督人臉情緒識別模型，并對當前的人臉圖像數據進行情緒分析。

所述的CNN-LSTM回歸器，包括在每一幀中，使用S3D人臉檢測算法對圖像的人臉區域進行檢測；利用基于ResNet的CNN編碼器提取深度特征；在引入LSTM之前，通過全連接層將提取的特征長度調整為2048；在引入LSTM之后，分別由兩個不同的全連接層輸出激勵和效價；LSTM包括遺忘門、輸入門和輸出門。

所述的步驟S2包括，對無標簽數據進行數據擴充，然后對擴充數據的預測取均值；使用微調MixUp對標簽數據與無標簽數據混合后得到目標數據；網絡對目標數據進行預測并計算損失函數。

所述的步驟S3，包括如下步驟：

A1.對圖像的深度特征進行聚類：

A2.通過一次迭代后CNN提取的樣本特征計算加權項，將加權項加入聚類中心中進行更新；

A3.給定一個批處理的樣本，對批處理的樣本中的數據構建三元組，得到聚類空間的數據的激活矩陣，并計算數據間的相似性與差異性損失；通過數據間的相似性和差異性損失獲取最終的相似性三元組損失。