[發(fā)明專利]一種基于生成式對抗網(wǎng)絡(luò)的人臉表情識別方法

有效

• 申請?zhí)枺?/td>: 201811332661.9
• 申請日: 2018-11-09
• 公開（公告）號: CN109508669B
• 公開（公告）日: 2021-07-23
• 發(fā)明（設(shè)計(jì)）人: 嚴(yán)嚴(yán);黃穎;王菡子
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門南強(qiáng)之路專利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

一種基于生成式對抗網(wǎng)絡(luò)的人臉表情識別方法，涉及計(jì)算機(jī)視覺技術(shù)。首先設(shè)計(jì)一個(gè)基于生成式對抗網(wǎng)絡(luò)的人臉表情生成網(wǎng)絡(luò)并對其預(yù)訓(xùn)練，該網(wǎng)絡(luò)由一個(gè)生成器和兩個(gè)判別器構(gòu)成，能夠生成指定表情的隨機(jī)身份的人臉圖；然后設(shè)計(jì)一個(gè)人臉表情識別網(wǎng)絡(luò)，該網(wǎng)絡(luò)在訓(xùn)練時(shí)同時(shí)接收訓(xùn)練集中的真實(shí)人臉表情圖以及由人臉表情生成網(wǎng)絡(luò)產(chǎn)生的隨機(jī)人臉表情圖，使用一種類內(nèi)損失來減少真實(shí)樣本和生成樣本之間的人臉表情特征差異性；同時(shí)還使用一種真實(shí)樣本導(dǎo)向的梯度更新方法來促進(jìn)生成樣本的特征學(xué)習(xí)；最后根據(jù)訓(xùn)練好的人臉表情識別網(wǎng)絡(luò)模型，從模型最后的柔性最大分類層得到最終的人臉表情識別結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺技術(shù)，具體涉及一種基于生成式對抗網(wǎng)絡(luò)的人臉表情識別方法。

背景技術(shù)

在過去的幾年時(shí)間里，人臉表情自動(dòng)識別已經(jīng)在計(jì)算機(jī)視覺領(lǐng)域廣泛地吸引了許多專家的注意力。人臉表情自動(dòng)識別技術(shù)在許多應(yīng)用場景上具有重要的顯示意義，如社交機(jī)器人、醫(yī)療保健和人機(jī)交互等。盡管這些年來人臉表情自動(dòng)識別技術(shù)已經(jīng)取得了不錯(cuò)的進(jìn)展，但是它仍然面對著巨大的挑戰(zhàn)，尤其在復(fù)雜的環(huán)境下，如不同的姿勢、光照和遮擋等，人臉表情自動(dòng)識別的識別率還有待提高。

現(xiàn)有的人臉表情識別技術(shù)可以分為兩大類：基于手工設(shè)計(jì)特征的方法和基于卷積神經(jīng)網(wǎng)絡(luò)特征的方法。Liu等人(P.Liu,J.T.Zhou,W.H.Tsang,Z.Meng,S.Han,Y.Tong,“Feature disentangling machine-a novel approach of feature selection anddisentangling in facial expression analysis”,in European Conference onComputer Vision(ECCV),2014,pp.151–166.)提出了特征分解機(jī)的方法，該方法將結(jié)合了多任務(wù)深度學(xué)習(xí)和稀疏支持向量機(jī)，首先對輸入圖像提取手工設(shè)計(jì)的特征，然后將所提取的特征分為通用特征和特定特征兩大類，通用特征被用來識別所有的表情，而特定特征只用來識別一種特定的表情。這些基于手工設(shè)計(jì)特征的方法將特征學(xué)習(xí)和分類器訓(xùn)練分開進(jìn)行，可能會(huì)導(dǎo)致表情識別的次優(yōu)性能。目前，基于卷積神經(jīng)網(wǎng)絡(luò)的計(jì)算機(jī)視覺技術(shù)在計(jì)算機(jī)視覺領(lǐng)域已經(jīng)取得了重大的成功。許多人臉表情識別的工作開始采用深度學(xué)習(xí)模型來預(yù)測人臉的表情。Jung等人(H.Jung,S.Lee,J.Yim,S.Park,“Joint fine-tuning in deepneural networks for facial expression recognition”,in:IEEE InternationalConference on Computer Vision(ICCV),2015,pp.2983–2991.)訓(xùn)練了一個(gè)深度表觀模型和一個(gè)深度幾何模型來分別學(xué)習(xí)人臉的表觀特征和幾何特征，最后將兩個(gè)模型聯(lián)合聯(lián)合訓(xùn)練來預(yù)測人臉的表情。基于卷積神經(jīng)網(wǎng)絡(luò)特征的方法做到了特征提取與分類器訓(xùn)練相結(jié)合的端到端訓(xùn)練，可以很大地提升識別性能。然而，卷積神經(jīng)網(wǎng)絡(luò)模型依賴于大量的有標(biāo)簽數(shù)據(jù)，對人臉表情識別技術(shù)來說，目前公開的數(shù)據(jù)集的圖片數(shù)量還遠(yuǎn)遠(yuǎn)不夠。最近，生成式對抗網(wǎng)絡(luò)被廣泛地應(yīng)用在人臉合成領(lǐng)域，并且在多姿態(tài)人臉合成和人臉屬性遷移等任務(wù)上取得了不錯(cuò)的效果。生成式對抗網(wǎng)絡(luò)可以生成各種不同表情、姿勢的人臉圖片，這些圖片可以用來擴(kuò)充數(shù)據(jù)集，從而緩解卷積神經(jīng)網(wǎng)絡(luò)中訓(xùn)練數(shù)據(jù)不足的問題。然而，直接把這些生成的圖片用作訓(xùn)練數(shù)據(jù)時(shí)又會(huì)帶來新的問題，比如如何產(chǎn)生高質(zhì)量的人臉圖片，以及如何保證這些圖片在訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)是可以帶來正面的影響。這些問題如果沒有處理好，很可能不但不會(huì)提高模型的性能，而且會(huì)削弱模型的特征表示能力。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種基于生成式對抗網(wǎng)絡(luò)的人臉表情識別方法。

本發(fā)明包括以下步驟：

1)準(zhǔn)備訓(xùn)練樣本集(P_i,y_i)，其中N為樣本的數(shù)目，c表示訓(xùn)練樣本集包含的類別數(shù)，N和c為自然數(shù)；P_i表示第i個(gè)訓(xùn)練樣本對應(yīng)的固定大小的圖像；y_i表示第i個(gè)訓(xùn)練樣本的類別標(biāo)簽：表示第i個(gè)樣本屬于第j類表情；