[發明專利]一種半監督人臉情緒識別方法

在審

• 申請號: 202210160626.3
• 申請日: 2022-02-22
• 公開（公告）號: CN114529973A
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 潘麗麗;邵偉志;馬俊勇;熊思宇
• 申請（專利權）人: 中南林業科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/74;G06V10/762;G06V10/766;G06V10/774;G06V10/82;G06N3/04;G06N3/08;G06K9/62
• 代理公司: 長沙永星專利商標事務所(普通合伙) 43001
• 代理人: 周詠;米中業

1.一種半監督人臉情緒識別方法，其特征在于包括如下步驟：

S1.獲取基礎圖像數據樣本，包括標簽數據和無標簽數據；

S2.采用CNN-LSTM回歸器對標簽數據進行預測，計算預測值和標簽值之間的距離作為監督損失；

通過CNN-LSTM回歸器，使用微調MixUp和時間集成為無標簽數據生成平滑偽標簽，將平滑偽標簽和預測值之間的距離作為半監督損失；

S3.構建基于相似性學習的三元組損失，包括對圖像數據的深度特征進行聚類，基于聚類結果構建三元組，通過三元組之間的相似度計算相似性三元組損失，并根據梯度下降更新網絡參數；

S4.通過監督損失、半監督損失和相似性三元組損失的加權構建CNN-LSTM回歸器的完整損失函數，根據損失值和梯度下降更新網絡參數獲取半監督人臉情緒識別模型，并對當前的人臉圖像數據進行情緒分析。

2.根據權利要求1所述的半監督人臉情緒識別方法，其特征在于所述的CNN-LSTM回歸器，包括在每一幀中，使用S3D人臉檢測算法對圖像的人臉區域進行檢測；利用基于ResNet的CNN編碼器提取深度特征；在引入LSTM之前，通過全連接層將提取的特征長度調整為2048；在引入LSTM之后，分別由兩個不同的全連接層輸出激勵和效價；LSTM包括遺忘門、輸入門和輸出門。

3.根據權利要求2所述的半監督人臉情緒識別方法，其特征在于所述的步驟S2包括，對無標簽數據進行數據擴充，然后對擴充數據的預測取均值；使用微調MixUp對標簽數據與無標簽數據混合后得到目標數據；網絡對目標數據進行預測并計算損失函數。

4.根據權利要求3所述的半監督人臉情緒識別方法，其特征在于所述的步驟S3，包括如下步驟：

A1.對圖像的深度特征進行聚類：

A2.通過一次迭代后CNN提取的樣本特征計算加權項，將加權項加入聚類中心中進行更新；

A3.給定一個批處理的樣本，對批處理的樣本中的數據構建三元組，得到聚類空間的數據的激活矩陣，并計算數據間的相似性與差異性損失；通過數據間的相似性和差異性損失獲取最終的相似性三元組損失。

5.根據權利要求4所述的半監督人臉情緒識別方法，其特征在于所述的步驟A1，包括對于給定的基礎圖像數據樣本，對初始的標簽數據的深度特征進行聚類后得到初始聚類中心；在訓練過程中，將無標簽數據和標簽數據同時輸入到CNN-LSTM回歸器中，計算與基礎圖像數據樣本距離最小的聚類中心，同時基礎圖像數據樣本的聚類類別由與其距離最小的聚類中心決定。

6.根據權利要求5所述的半監督人臉情緒識別方法，其特征在于所述的步驟A2包括，根據一次迭代后CNN提取的樣本特征計算加權項包括通過初始聚類深度特征之和和基礎圖像數據樣本距離最小的聚類中心的倒數的積，與經過一次迭代后CNN提取的樣本特征與經過一次迭代后與基礎圖像數據樣本距離最小的聚類中心的倒數的積求和，一直迭代到預定迭代終止次數；迭代后聚類空間中樣本間的距離為兩個不同的基礎圖像數據樣本的特征向量的歐幾里得范數。