[發(fā)明專利]一種生成對抗網(wǎng)絡(luò)表情識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011211420.6
• 申請日: 2020-11-03
• 公開（公告）號: CN112287858A
• 公開（公告）日: 2021-01-29
• 發(fā)明（設(shè)計）人: 冷勇
• 申請（專利權(quán)）人: 北京享云智匯科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/54;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京一枝筆知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11791
• 代理人: 張慶瑞

本發(fā)明提供了一種生成對抗網(wǎng)絡(luò)表情識別方法，該方法首先將數(shù)據(jù)庫的圖像作為源域圖像，自然環(huán)境下采集圖像的數(shù)據(jù)庫為目標(biāo)域圖像，并將所述源域圖像和所述目標(biāo)域圖像標(biāo)注對應(yīng)的情感標(biāo)簽；將所述源域圖像和所述目標(biāo)域圖像進行預(yù)處理，獲得去除冗余信息的人臉圖像；將所述情感標(biāo)簽作為輔助條件，利用生成對抗網(wǎng)絡(luò)模型，將所述源域圖像轉(zhuǎn)化為所述目標(biāo)域圖像，基于擴充目標(biāo)域圖像訓(xùn)練分類器，構(gòu)建人臉表情識別模型，通過人臉表情識別模型輸出人臉表情識別結(jié)果。本發(fā)明提供的一種生成對抗網(wǎng)絡(luò)表情識別方法，使分類器能夠同時學(xué)到實驗室環(huán)境以及自然環(huán)境的情感相關(guān)特征，提升表情識別率，本發(fā)明還提供了一種生成對抗網(wǎng)絡(luò)表情識別系統(tǒng)。

技術(shù)領(lǐng)域

本發(fā)明屬于人臉表情識別技術(shù)領(lǐng)域，更具體地說，是涉及一種生成對抗網(wǎng)絡(luò)表情識別方法及系統(tǒng)。

背景技術(shù)

傳統(tǒng)的人臉表情識別主要針對實驗室環(huán)境下基本典型表情的識別，但是這樣的基本表情面部肌肉比較夸張，難以刻畫和反映現(xiàn)實生活中人類情感變化的微妙性和復(fù)雜性，在自然環(huán)境下面部識別過程中由于表情識別受光照變化、任意姿勢變化、自發(fā)面部表情、不受約束的背景以及許多其他不可預(yù)測情況的影響，導(dǎo)致識別準(zhǔn)確率低。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種生成對抗網(wǎng)絡(luò)表情識別方法及系統(tǒng)，旨在解決自然環(huán)境下面部識別準(zhǔn)確率低的問題。

為實現(xiàn)上述目的，本發(fā)明采用的技術(shù)方案是：提供一種生成對抗網(wǎng)絡(luò)表情識別方法，包括：

步驟1：首先將數(shù)據(jù)庫的圖像作為源域圖像，自然環(huán)境下采集圖像的數(shù)據(jù)庫為目標(biāo)域圖像，并將所述源域圖像和所述目標(biāo)域圖像標(biāo)注對應(yīng)的情感標(biāo)簽；

步驟2：將所述源域圖像和所述目標(biāo)域圖像進行預(yù)處理，獲得去除冗余信息的人臉圖像；

步驟3：將所述情感標(biāo)簽作為輔助條件，利用生成對抗網(wǎng)絡(luò)模型，將所述源域圖像轉(zhuǎn)化為所述目標(biāo)域圖像，基于擴充目標(biāo)域圖像訓(xùn)練分類器，構(gòu)建人臉表情識別模型，通過人臉表情識別模型輸出人臉表情識別結(jié)果。

優(yōu)選地，所述步驟3包括以下步驟：

步驟301：將所述情感標(biāo)簽作為輔助條件，利用所述生成對抗網(wǎng)絡(luò)模型中的生成器和判別器互相博弈訓(xùn)練，利用所述生成器將所述源域圖像生成樣本圖像，利用所述判別器判別所述樣本圖像是否具有所述目標(biāo)域圖像的表情特征，同時所述樣本圖像保留所述源域圖像的局部表情特征；

步驟302：把所述樣本圖像和所述目標(biāo)域圖像輸入到分類器中；

步驟303：所述分類器將分類結(jié)果反饋給所述生成器，從而指導(dǎo)所述生成器生成具有所述目標(biāo)域圖像表情特征的所述樣本圖像；

步驟304：經(jīng)過迭代次數(shù)的增加，不斷優(yōu)化所述生成器、所述判別器和所述分類器，從而得到生成器模型、判別器模型和分類器模型，完成了構(gòu)建所述人臉表情識別模型，通過所述人臉表情識別模型輸出人臉表情識別結(jié)果。

優(yōu)選地，所述分類器為深度殘差網(wǎng)絡(luò)識別模型。

優(yōu)選地，步驟2所述將所述源域圖像和所述目標(biāo)域圖像進行預(yù)處理，利用人臉檢測庫對所述源域圖像和所述目標(biāo)域圖像進行人臉檢測并截取所述人臉圖像，并將所述人臉圖像歸一化到相同尺寸。

優(yōu)選地，所述步驟301為了使所述樣本圖像保留所述源域圖像的局部表情特征，同時所述樣本圖像可以直接用于表情分類任務(wù)，則需要在對抗損失的基礎(chǔ)上加入重構(gòu)損失和分類任務(wù)損失，并將這三部分損失結(jié)合在一起作為所述生成器的損失函數(shù)。

優(yōu)選地，所述生成器的對抗損失函數(shù)推導(dǎo)步驟包括：

所述對抗損失是通過所述生成器生成的所述樣本圖像能夠得到所述判別器最大認可，將所述樣本圖像輸入到所述判別器中，所述判別器給出最高評分，同時采用所述源域圖像作為條件加入到所述生成器的輸入中，所述對抗損失的表示為：