[發(fā)明專利]一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911331871.0
• 申請(qǐng)日: 2019-12-21
• 公開（公告）號(hào): CN111160189B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 文貴華;常天元;諸俊浩
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

1.一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法，其特征在于，包括以下步驟：

S1、輸入訓(xùn)練樣本集和測(cè)試樣本集；

S2、采用多個(gè)損失函數(shù)作為訓(xùn)練的目標(biāo)函數(shù)；

S3、將損失函數(shù)排序；

S4、根據(jù)排序后的損失函數(shù)依次在訓(xùn)練樣本集上重復(fù)對(duì)深度神經(jīng)網(wǎng)絡(luò)進(jìn)行動(dòng)態(tài)目標(biāo)訓(xùn)練，獲得表情識(shí)別模型；根據(jù)損失函數(shù)的等級(jí)類別分階段訓(xùn)練搭建的深度神經(jīng)網(wǎng)絡(luò)；深度神經(jīng)網(wǎng)絡(luò)的損失函數(shù)為：

L＝L_cls+λ_lkdL_lkd+λ_diL_di+λ_L2L₂；

其中，λ_lkd、λ_di、λ_L2分別為似然正則化損失函數(shù)、基于表情識(shí)別領(lǐng)域知識(shí)的損失函數(shù)、L₂正則項(xiàng)損失函數(shù)的權(quán)重；L_di為基于表情識(shí)別領(lǐng)域知識(shí)的損失函數(shù)L_{domain_information}；

然后通過(guò)權(quán)重來(lái)實(shí)現(xiàn)三個(gè)訓(xùn)練階段，而每個(gè)訓(xùn)練階段損失函數(shù)與步驟S3中損失函數(shù)的排序一致；

整個(gè)網(wǎng)絡(luò)模型訓(xùn)練過(guò)程劃分為三個(gè)不同的階段，每個(gè)階段損失項(xiàng)的加權(quán)系數(shù)都會(huì)隨著訓(xùn)練過(guò)程動(dòng)態(tài)上升，通過(guò)動(dòng)態(tài)調(diào)整加權(quán)系數(shù)的值在不同階段達(dá)到峰值，使得每一個(gè)訓(xùn)練階段都有網(wǎng)絡(luò)模型要重點(diǎn)關(guān)注的損失項(xiàng)；

在第一階段中，給λ_lkd，λ_di以及λ_L2很小的初始值，λ_lkd取[0.001，0.005]，λ_di取[0.01，0.05]，λ_L2取[0.00001，0.00005]，使得網(wǎng)絡(luò)模型首先著重訓(xùn)練L_cls確保網(wǎng)絡(luò)模型盡快的擬合數(shù)據(jù)的真實(shí)分布提高網(wǎng)絡(luò)模型的分類準(zhǔn)確率；

在第二階段中，通過(guò)動(dòng)態(tài)調(diào)整λ_lkd和λ_di加權(quán)系數(shù)的值達(dá)到預(yù)設(shè)最大值，使網(wǎng)絡(luò)模型在這一階段著重訓(xùn)練似然正則損失項(xiàng)和領(lǐng)域信息損失項(xiàng)，目標(biāo)是使得類內(nèi)的樣本更加緊湊的同時(shí)拉大易混分類別特征空間的距離；

在第三階段中，通過(guò)動(dòng)態(tài)調(diào)整λ_l2加權(quán)系數(shù)值到預(yù)設(shè)最大值，使網(wǎng)絡(luò)模型在這一階段著重訓(xùn)練L2損失項(xiàng)，讓模型更簡(jiǎn)單泛化能力更強(qiáng)；

三個(gè)損失項(xiàng)的動(dòng)態(tài)加權(quán)系數(shù)λ_dynamic的通用公式化形式如下：

λ_dynamic＝min(λ_initial10^{3·epoch/max_epoch}，max_value)

其中λ_initial為不同損失項(xiàng)的初始權(quán)重系數(shù)，epoch是當(dāng)前迭代輪數(shù)，max_epoch是總迭代輪數(shù)，max_value為損失項(xiàng)加權(quán)系數(shù)的預(yù)設(shè)最大值；訓(xùn)練完成后，得到表情識(shí)別模型_；

S5、根據(jù)表情識(shí)別模型對(duì)輸入的測(cè)試樣本進(jìn)行表情分類。

2.根據(jù)權(quán)利要求1所述的一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法，其特征在于，步驟S1中，對(duì)輸入的任何人臉圖像，屬于三通道的彩色圖像，通過(guò)雙線性插值的方式進(jìn)行放縮，每張圖像進(jìn)行隨機(jī)的水平翻轉(zhuǎn)、隨機(jī)平移、隨機(jī)圖像旋轉(zhuǎn)、隨機(jī)圖像縮放。

3.根據(jù)權(quán)利要求1所述的一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法，其特征在于，步驟S2中損失函數(shù)包括最大間隔高斯混合損失函數(shù)L-GM、似然正則化損失函數(shù)、基于表情分類領(lǐng)域知識(shí)的損失函數(shù)和L₂正則項(xiàng)損失函數(shù)。