[發(fā)明專利]一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201911331871.0
• 申請(qǐng)日: 2019-12-21
• 公開（公告）號(hào): CN111160189B
• 公開（公告）日: 2023-05-26
• 發(fā)明（設(shè)計(jì)）人: 文貴華;常天元;諸俊浩
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/764;G06V10/82;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 何淑珍;江裕強(qiáng)

本發(fā)明公開了一種基于目標(biāo)動(dòng)態(tài)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法。所述方法包括以下步驟：輸入訓(xùn)練樣本集和測(cè)試樣本集；采用多個(gè)損失函數(shù)作為訓(xùn)練的目標(biāo)函數(shù)；將損失函數(shù)排序；根據(jù)排序后的損失函數(shù)依次在訓(xùn)練樣本集上重復(fù)訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)，獲得表情識(shí)別模型；根據(jù)表情識(shí)別模型對(duì)輸入的測(cè)試樣本進(jìn)行表情分類。本發(fā)明讓模型在初期能盡快擬合訓(xùn)練數(shù)據(jù)，在后期通過(guò)多個(gè)損失的動(dòng)態(tài)權(quán)重變化拉大不同類別的特征空間距離以達(dá)到更好的泛化性能。本發(fā)明能夠有效地提升神經(jīng)網(wǎng)絡(luò)在多個(gè)人臉表情識(shí)別數(shù)據(jù)集上的準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)機(jī)器視覺領(lǐng)域，具體涉及一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法。

背景技術(shù)

人臉表情是人們用來(lái)表達(dá)情緒的最主要的一種方式，研究表明：人與人之間的交流僅有7％的信息是靠言語(yǔ)來(lái)傳達(dá)的，38％的信息是靠聲音來(lái)傳遞的，剩余的55％均是靠人臉的面部表情來(lái)進(jìn)行傳達(dá)。由此結(jié)論可以看出人臉表情在人與人交流過(guò)程中的重要性，因此人臉面部表情識(shí)別有著重要的研究?jī)r(jià)值和意義。

人臉表情識(shí)別目前在社會(huì)生活中有著廣泛的應(yīng)用場(chǎng)景，比如在智能安防、測(cè)謊、智慧醫(yī)療、互聯(lián)網(wǎng)教育等方面。在智能安防領(lǐng)域中，人臉表情識(shí)別技術(shù)可以實(shí)時(shí)監(jiān)測(cè)路人的情緒狀態(tài)，識(shí)別可疑人物等潛在風(fēng)險(xiǎn)并提前采取必要的防護(hù)措施，在銀行、商城、小區(qū)等公共場(chǎng)所有著很大的用途。在智慧醫(yī)療領(lǐng)域中，人臉表情識(shí)別技術(shù)可以24小時(shí)無(wú)間斷的獲取病人的面部表情圖像進(jìn)而判斷病人當(dāng)前的狀態(tài)，當(dāng)病人出現(xiàn)緊急危險(xiǎn)情況時(shí)可以第一時(shí)間反饋給醫(yī)生做好及時(shí)治療。在遠(yuǎn)程互聯(lián)網(wǎng)教育中，人臉表情識(shí)別對(duì)于老師在線及時(shí)了解學(xué)習(xí)的聽課狀態(tài)并根據(jù)學(xué)生當(dāng)前的情緒狀態(tài)來(lái)動(dòng)態(tài)調(diào)整授課的形式和內(nèi)容，進(jìn)而提升教學(xué)質(zhì)量。

由于表情具有復(fù)雜性和多變性的特點(diǎn)，加上不同種族，年齡，周圍環(huán)境等因素的干擾(Li,S.；Deng,W.Deep?Facial?Expression?Recognition:A?Survey.In?Proceedings?ofthe?International?Conference?on?Computer?Vision?and?Pattern?Recognition,SaltLake?City,UT,USA,18–22June?2018.)，很難針對(duì)數(shù)據(jù)集去明確的劃分每一個(gè)表情的特征空間，表情類別中的大部分樣本的面部特征在特征空間中距離同類樣本的可能比較近，而某些表情類別中的樣本特征空間距離同類樣本比較遠(yuǎn)，僅僅使用圖像分類中具有普適性的分類損失函數(shù)引導(dǎo)網(wǎng)絡(luò)學(xué)習(xí)使得網(wǎng)絡(luò)泛化性能不足。雖然有一些先進(jìn)的方法提出來(lái)解決這個(gè)問題，比如Jie?Cai?et?al提出的概率屬性樹方法(Cai?J,Meng?Z,Khan?AS,etal.Probabilistic?Attribute?Tree?in?Convolutional?Neural?Networks?for?FacialExpression?Recognition[J].Computer?Vision?and?Pattern?Recognition,2018,1(c):10-24.)和Yong?Li?et?al提出的注意力方法(Li?Y,Zeng?J,Shan?S,et?al.Occlusionaware?facial?expression?recognition?using?CNN?with?attention?mechanism[J].IEEE?Transactions?on?Image?Processing,IEEE,2018,28(5):2439–2450.)，但它們更為復(fù)雜且精度較低。

發(fā)明內(nèi)容

本發(fā)明為了解決現(xiàn)有技術(shù)的不足，提出了一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法，有效提高對(duì)人臉表情識(shí)別分類的能力，同時(shí)具備較強(qiáng)的魯棒性。

本發(fā)明的目的至少通過(guò)如下技術(shù)方案之一實(shí)現(xiàn)。

一種基于動(dòng)態(tài)目標(biāo)訓(xùn)練的深度神經(jīng)網(wǎng)絡(luò)人臉表情識(shí)別方法，包括以下步驟：

S1、輸入訓(xùn)練樣本集和測(cè)試樣本集；

S2、采用多個(gè)損失函數(shù)作為訓(xùn)練的目標(biāo)函數(shù)；

S3、將損失函數(shù)排序；