[發明專利]情緒識別模型的生成方法、識別方法、裝置、介質和設備

在審

• 申請號: 202210211180.2
• 申請日: 2022-03-03
• 公開（公告）號: CN114565964A
• 公開（公告）日: 2022-05-31
• 發明（設計）人: 張唯;陳柯宇;丁彧;李林橙;王蘇振;呂唐杰;范長杰;胡志鵬
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京元合聯合知識產權代理事務所(特殊普通合伙) 11653
• 代理人: 李非非

本申請提供了一種情緒識別模型的生成方法，該方法包括：將情緒識別訓練數輸入情緒識別特征提取器進行處理以得到第一表情編碼向量；將第一表情編碼向量輸入特征學習分支網絡得到表情表征向量；將第一表情編碼向量輸入分類學習分支網絡得到情緒分類結果；根據表情表征向量、情緒分類結果、情緒標簽、以及預設的損失函數獲得損失值，并根據損失值調整情緒識別特征提取器以及特征學習分支網絡和分類學習分支網絡的參數；當預設的損失函數達到設定收斂條件時，保留情緒識別特征提取器和分類學習分支網絡得到第一情緒識別模型。相應地，本申請還提供了與所述情緒識別模型的生成方法相關的介質和設備，以及情緒識別方法及相關的介質和設備。

技術領域

本申請屬于人工智能技術領域，尤其涉及一種情緒識別模型的生成方法、情緒識別方法、裝置、介質和設備。

背景技術

表情是人類用來表達情緒的基本途徑之一，在不同的情景下人類通過表情表達自己內心的感受，同時也通過表情感知他人的情緒。基于表情視覺信息的情緒識別方法在多個領域獲得較大的關注，例如人機交互，心理疾病診斷，銷售心理學領域。基本情緒的識別作為一種基礎識別任務，可以為復雜的情緒分析任務提供基礎技術支持。基本的7種情緒包括中性，開心，傷心，驚訝，害怕，生氣，厭惡。盡管實驗室環境下的基本情緒自動識別已達到很高的準確率，但是這些方法卻難以處理遮擋，光照等實際應用問題。大規模的自然環境下的表情數據集的出現為解決實際情緒識別的落地提供了便利，然而處理復雜的干擾因素以及緩解數據集帶有的數據不平衡問題仍然是不小的挑戰。

發明內容

為了克服現有技術中的上述缺陷，本申請提供了一種情緒識別模型的生成方法，該方法包括：

獲取情緒識別訓練數據，并將所述情緒識別訓練數輸入情緒識別特征提取器進行處理以得到第一表情編碼向量，所述情緒識別特征提取器利用預訓練的表情編碼模型構建，所述表情編碼模型用于生成第二表情編碼向量，所述第一表情編碼向量的維度高于所述第二表情編碼向量的維度，所述情緒識別訓練數據包括表情圖像和對應的情緒標簽；

將所述第一表情編碼向量輸入特征學習分支網絡進行處理，得到表情表征向量；

將所述第一表情編碼向量輸入分類學習分支網絡進行處理，得到情緒分類結果；

根據所述表情表征向量、所述情緒分類結果、所述情緒標簽、以及預設的損失函數獲得損失值，并根據所述損失值調整所述情緒識別特征提取器以及所述特征學習分支網絡和分類學習分支網絡的參數；

當所述預設的損失函數達到設定收斂條件時，根據所述情緒識別特征提取器、所述特征學習分支網絡和所述分類學習分支網絡得到第一情緒識別模型。

根據本申請的一個方面，該方法還包括：

利用多條表情多元組訓練數據對預設的表情編碼模型進行迭代訓練得到所述預訓練的表情編碼模型，每條所述表情多元組訓練數據包括目標表情樣本圖像，與所述目標表情樣本圖像相似的正表情圖像，與所述目標表情樣本圖像不相似的負表情樣本圖像；

截取所述預訓練的表情編碼模型中設定數量的網絡層作為所述情緒識別特征提取器。

根據本申請的另一個方面，該方法中所述預設的損失函數包括用于特征學習分支網絡的第一損失函數和用于分類學習分支網絡的第二損失函數，所述第一損失函數采用對比損失函數，所述第二損失函數采用交叉熵損失函數。

根據本申請的另一個方面，該方法中所述預設的損失函數還包括第一損失函數的第一權重和第二損失函數的第二權重，在所述特征學習分支網絡的迭代過程中，所述第一權重逐漸減小。

根據本申請的另一個方面，該方法所述獲取情緒識別訓練數據包括：

獲取初始情緒識別訓練數據；

對所述初始情緒識別訓練數據進行均衡處理，獲得均衡處理后的情緒識別訓練數據。