[發(fā)明專利]情緒識別模型的生成方法、識別方法、裝置、介質(zhì)和設(shè)備

在審

• 申請?zhí)枺?/td>: 202210211180.2
• 申請日: 2022-03-03
• 公開（公告）號: CN114565964A
• 公開（公告）日: 2022-05-31
• 發(fā)明（設(shè)計）人: 張唯;陳柯宇;丁彧;李林橙;王蘇振;呂唐杰;范長杰;胡志鵬
• 申請（專利權(quán)）人: 網(wǎng)易（杭州）網(wǎng)絡(luò)有限公司
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京元合聯(lián)合知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 11653
• 代理人: 李非非

1.一種情緒識別模型的生成方法，其特征在于，所述方法包括：

獲取情緒識別訓(xùn)練數(shù)據(jù)，并將所述情緒識別訓(xùn)練數(shù)據(jù)輸入情緒識別特征提取器進行處理以得到第一表情編碼向量，所述情緒識別特征提取器利用預(yù)訓(xùn)練的表情編碼模型構(gòu)建，所述表情編碼模型用于生成第二表情編碼向量，所述第一表情編碼向量的維度高于所述第二表情編碼向量的維度，所述情緒識別訓(xùn)練數(shù)據(jù)包括表情圖像和對應(yīng)的情緒標(biāo)簽；

將所述第一表情編碼向量輸入特征學(xué)習(xí)分支網(wǎng)絡(luò)進行處理，得到表情表征向量；

將所述第一表情編碼向量輸入分類學(xué)習(xí)分支網(wǎng)絡(luò)進行處理，得到情緒分類結(jié)果；

根據(jù)所述表情表征向量、所述情緒分類結(jié)果、所述情緒標(biāo)簽、以及預(yù)設(shè)的損失函數(shù)獲得損失值，并根據(jù)所述損失值調(diào)整所述情緒識別特征提取器以及所述特征學(xué)習(xí)分支網(wǎng)絡(luò)和分類學(xué)習(xí)分支網(wǎng)絡(luò)的參數(shù)；

當(dāng)所述預(yù)設(shè)的損失函數(shù)達到設(shè)定收斂條件時，根據(jù)所述情緒識別特征提取器、所述特征學(xué)習(xí)分支網(wǎng)絡(luò)和所述分類學(xué)習(xí)分支網(wǎng)絡(luò)得到第一情緒識別模型。

2.根據(jù)權(quán)利要求1所述的情緒識別模型的生成方法，其中，所述方法還包括：

利用多條表情多元組訓(xùn)練數(shù)據(jù)對初始表情編碼模型進行迭代訓(xùn)練得到所述預(yù)訓(xùn)練的表情編碼模型，每條所述表情多元組訓(xùn)練數(shù)據(jù)包括目標(biāo)表情樣本圖像，與所述目標(biāo)表情樣本圖像相似的正表情圖像，與所述目標(biāo)表情樣本圖像不相似的負(fù)表情樣本圖像；

截取所述預(yù)訓(xùn)練的表情編碼模型中設(shè)定數(shù)量的網(wǎng)絡(luò)層作為所述情緒識別特征提取器。

3.根據(jù)權(quán)利要求1所述的情緒識別模型的生成方法，所述預(yù)設(shè)的損失函數(shù)包括用于特征學(xué)習(xí)分支網(wǎng)絡(luò)的第一損失函數(shù)和用于分類學(xué)習(xí)分支網(wǎng)絡(luò)的第二損失函數(shù)，所述第一損失函數(shù)采用對比損失函數(shù)，所述第二損失函數(shù)采用交叉熵?fù)p失函數(shù)。

4.根據(jù)權(quán)利要求3所述的情緒識別模型的生成方法，其中，所述預(yù)設(shè)的損失函數(shù)還包括第一損失函數(shù)的第一權(quán)重和第二損失函數(shù)的第二權(quán)重，在所述特征學(xué)習(xí)分支網(wǎng)絡(luò)的迭代過程中，所述第一權(quán)重逐漸減小。

5.根據(jù)權(quán)利要求1-4中的任一項所述的情緒識別模型的生成方法，所述獲取情緒識別訓(xùn)練數(shù)據(jù)包括：

獲取初始情緒識別訓(xùn)練數(shù)據(jù)；

對所述初始情緒識別訓(xùn)練數(shù)據(jù)進行均衡處理，獲得均衡處理后的情緒識別訓(xùn)練數(shù)據(jù)。

6.根據(jù)權(quán)利要求1所述的情緒識別模型的生成方法，所述根據(jù)所述情緒識別特征提取器、所述特征學(xué)習(xí)分支網(wǎng)絡(luò)和所述分類學(xué)習(xí)分支網(wǎng)絡(luò)得到第一情緒識別模型，包括：

丟棄所述特征學(xué)習(xí)分支網(wǎng)絡(luò)，根據(jù)保留的所述情緒識別特征提取器和所述分類學(xué)習(xí)分支網(wǎng)絡(luò)得到第一情緒識別模型。

7.根據(jù)權(quán)利要求1-4中的任一項所述的情緒識別模型的生成方法，其中，該方法還包括：

構(gòu)建輕量化情緒識別模型，并以所述第一情緒識別模型為教師模型，以所述輕量化情緒識別模型為學(xué)生模型通過知識蒸餾對所述輕量化情緒識別模型進行迭代訓(xùn)練，以得到第二情緒識別模型。

8.根據(jù)權(quán)利要求7所述的情緒識別模型的生成方法，其中：

在對所述輕量化情緒識別模型進行迭代訓(xùn)練時采用交叉熵?fù)p失函數(shù)和軟目標(biāo)損失函數(shù)計算損失值。

9.一種情緒識別方法，該方法包括：

獲取待進行情緒識別的目標(biāo)圖像；

利用權(quán)利要求1-6中的任一項所述的情緒模型的生成方法得到第一情緒識別模型對所述目標(biāo)圖像進行情緒識別，或者利用權(quán)利要求7或8所述的情緒識別模型的生成方法得到的第二情緒識別模型對所述目標(biāo)圖像進行情緒識別。