[發(fā)明專利]表情識別模型的訓(xùn)練方法、識別方法、裝置、設(shè)備及介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110022518.5
• 申請日: 2021-01-08
• 公開（公告）號: CN112348001B
• 公開（公告）日: 2021-05-25
• 發(fā)明（設(shè)計）人: 胡一博;佘加輝;石海林;梅濤;周伯文
• 申請（專利權(quán)）人: 北京沃東天駿信息技術(shù)有限公司;北京京東世紀(jì)貿(mào)易有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 北京律智知識產(chǎn)權(quán)代理有限公司 11438
• 代理人: 孫寶海;闞梓瑄

1.一種表情識別模型的訓(xùn)練方法，其特征在于，包括：

獲取人臉圖像樣本以及所述人臉圖像樣本對應(yīng)的樣本類型標(biāo)簽，并將所述人臉圖像樣本和所述樣本類型標(biāo)簽作為表情識別模型的訓(xùn)練數(shù)據(jù)；

獲取用于訓(xùn)練所述表情識別模型的卷積神經(jīng)網(wǎng)絡(luò)，并通過所述卷積神經(jīng)網(wǎng)絡(luò)對所述人臉圖像樣本進(jìn)行特征提取，得到所述人臉圖像樣本對應(yīng)的樣本特征；

將所述卷積神經(jīng)網(wǎng)絡(luò)中的卷積層拆分為一條訓(xùn)練主路和多條訓(xùn)練支路，根據(jù)所述訓(xùn)練數(shù)據(jù)和所述樣本特征，通過所述訓(xùn)練支路得到樣本潛在類型的預(yù)測結(jié)果，并通過所述訓(xùn)練主路得到樣本真實類型的預(yù)測結(jié)果，其中，所述訓(xùn)練支路對應(yīng)的樣本潛在類型的預(yù)測結(jié)果為所述訓(xùn)練支路對應(yīng)的樣本類型的人臉圖像樣本屬于其他樣本類型的概率；

根據(jù)所述訓(xùn)練數(shù)據(jù)以及所述訓(xùn)練支路的預(yù)測結(jié)果得到支路損失函數(shù)，并根據(jù)所述訓(xùn)練數(shù)據(jù)以及所述訓(xùn)練主路和各個訓(xùn)練支路的預(yù)測結(jié)果得到主路損失函數(shù)；

通過所述支路損失函數(shù)和所述主路損失函數(shù)對所述卷積神經(jīng)網(wǎng)絡(luò)中的神經(jīng)網(wǎng)絡(luò)參數(shù)進(jìn)行迭代更新，以訓(xùn)練所述表情識別模型。

2.根據(jù)權(quán)利要求1所述的表情識別模型的訓(xùn)練方法，其特征在于，所述將所述卷積神經(jīng)網(wǎng)絡(luò)中的卷積層拆分為一條訓(xùn)練主路和多條訓(xùn)練支路，包括：

獲取所述人臉圖像樣本對應(yīng)的樣本類型的數(shù)量，并根據(jù)所述樣本類型的數(shù)量確定所述訓(xùn)練支路的數(shù)量；

根據(jù)所述訓(xùn)練支路的數(shù)量將所述卷積神經(jīng)網(wǎng)絡(luò)中的卷積層拆分為一條訓(xùn)練主路和多條訓(xùn)練支路。

3.根據(jù)權(quán)利要求1所述的表情識別模型的訓(xùn)練方法，其特征在于，所述根據(jù)所述訓(xùn)練數(shù)據(jù)和所述樣本特征，通過所述訓(xùn)練支路得到樣本潛在類型的預(yù)測結(jié)果，包括：

對于每一條所述訓(xùn)練支路，分別將所述訓(xùn)練數(shù)據(jù)中與所述訓(xùn)練支路相對應(yīng)的一個樣本類型的訓(xùn)練數(shù)據(jù)和樣本特征剔除，作為所述訓(xùn)練支路對應(yīng)的支路反向訓(xùn)練數(shù)據(jù)；

根據(jù)各個所述訓(xùn)練支路對應(yīng)的支路反向訓(xùn)練數(shù)據(jù)分別對各個所述訓(xùn)練支路進(jìn)行反向傳播，得到所述訓(xùn)練支路的反向輸出數(shù)據(jù)；

獲取與所述訓(xùn)練支路相對應(yīng)的一個樣本類型的所述訓(xùn)練數(shù)據(jù)和所述樣本特征，作為所述訓(xùn)練支路對應(yīng)的支路前向訓(xùn)練數(shù)據(jù)；

根據(jù)所述訓(xùn)練支路對應(yīng)的支路前向訓(xùn)練數(shù)據(jù)和所述訓(xùn)練支路的反向輸出數(shù)據(jù)進(jìn)行前向傳播，得到所述訓(xùn)練支路對應(yīng)的樣本潛在類型的預(yù)測結(jié)果。

4.根據(jù)權(quán)利要求1所述的表情識別模型的訓(xùn)練方法，其特征在于，所述支路損失函數(shù)包括支路交叉熵?fù)p失函數(shù)，所述根據(jù)所述訓(xùn)練數(shù)據(jù)以及所述訓(xùn)練支路的預(yù)測結(jié)果得到支路損失函數(shù)，包括：

根據(jù)所述訓(xùn)練支路中各個所述樣本類型的人臉圖像樣本的特征數(shù)據(jù)，以及所述訓(xùn)練支路的預(yù)測結(jié)果，計算所述訓(xùn)練支路中各個所述樣本類型的樣本交叉熵；

對所述訓(xùn)練支路中各個所述樣本類型的樣本交叉熵求平均值，得到所述訓(xùn)練支路的支路交叉熵?fù)p失函數(shù)。

5.根據(jù)權(quán)利要求1所述的表情識別模型的訓(xùn)練方法，其特征在于，所述主路損失函數(shù)包括主路均方誤差損失函數(shù)，所述根據(jù)所述訓(xùn)練數(shù)據(jù)以及所述訓(xùn)練主路和各個訓(xùn)練支路的預(yù)測結(jié)果得到主路損失函數(shù)，包括：

根據(jù)所述訓(xùn)練主路的預(yù)測結(jié)果與所述訓(xùn)練支路的預(yù)測結(jié)果之間的差值，得到預(yù)測誤差；

對所述訓(xùn)練主路中各個所述樣本類型的預(yù)測誤差的范數(shù)求平均值，得到所述訓(xùn)練主路的主路均方誤差損失函數(shù)。

6.根據(jù)權(quán)利要求1所述的表情識別模型的訓(xùn)練方法，其特征在于，所述主路損失函數(shù)包括相似性損失函數(shù)，所述根據(jù)所述訓(xùn)練數(shù)據(jù)以及所述訓(xùn)練主路和各個訓(xùn)練支路的預(yù)測結(jié)果得到主路損失函數(shù)，包括：

從所述訓(xùn)練數(shù)據(jù)中獲取各個所述訓(xùn)練支路的支路訓(xùn)練樣本，并根據(jù)所述支路訓(xùn)練樣本和所述支路訓(xùn)練樣本對應(yīng)的特征數(shù)據(jù)，得到所述訓(xùn)練支路中的各個支路訓(xùn)練樣本兩兩之間的相似性矩陣；

從所述訓(xùn)練數(shù)據(jù)中獲取所述訓(xùn)練主路的主路訓(xùn)練樣本，并根據(jù)所述主路訓(xùn)練樣本和所述主路訓(xùn)練樣本對應(yīng)的特征數(shù)據(jù)，得到所述訓(xùn)練主路中的各個主路訓(xùn)練樣本兩兩之間的相似性矩陣；

根據(jù)各個所述訓(xùn)練支路中各個支路訓(xùn)練樣本的相似性矩陣和所述訓(xùn)練主路中各個主路訓(xùn)練樣本的相似性矩陣，得到所述相似性損失函數(shù)。