[發(fā)明專利]一種基于卷積神經(jīng)網(wǎng)絡(luò)的面部情感分析方法

在審

• 申請?zhí)枺?/td>: 201910779634.4
• 申請日: 2019-08-22
• 公開（公告）號: CN110610138A
• 公開（公告）日: 2019-12-24
• 發(fā)明（設(shè)計(jì)）人: 孫強(qiáng);劉磊;張龍濤
• 申請（專利權(quán)）人: 西安理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 61214 西安弘理專利事務(wù)所
• 代理人: 王蕊轉(zhuǎn)

本發(fā)明公開的一種基于卷積神經(jīng)網(wǎng)絡(luò)的面部情感分析方法，包括選擇訓(xùn)練樣本和驗(yàn)證樣本；輸入訓(xùn)練樣本，得到歸一化人臉圖像以及歸一化人臉特征點(diǎn)；將歸一化人臉圖像送入卷積神經(jīng)網(wǎng)絡(luò)模型提取情感特征，將歸一化人臉特征點(diǎn)信息送入全連接層得到位置特征，將情感特征與位置特征進(jìn)行拼接；將情感特征映射為二維的預(yù)測標(biāo)簽，定義損失函數(shù)，衡量損失，使網(wǎng)絡(luò)反向傳播，完成模型訓(xùn)練，再通過驗(yàn)證樣本驗(yàn)證即可。本發(fā)明面部情感分析方法采用卷積神經(jīng)網(wǎng)絡(luò)模型和多輸出均方根誤差提取情感特征，同時(shí)加入人臉特征點(diǎn)，即克服了人為定義特征丟失情感信息的問題，又描述情感維度之間的相關(guān)性，提高了模型的預(yù)測性能準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及一種基于卷積神經(jīng)網(wǎng)絡(luò)的面部情感分析方法。

背景技術(shù)

情感計(jì)算的概念最早于上世紀(jì)90年代被MIT媒體實(shí)驗(yàn)室提出，科學(xué)家們試圖把“主觀的情感”變?yōu)橛?jì)算機(jī)可以認(rèn)知計(jì)算的信息，情感計(jì)算可以實(shí)現(xiàn)人機(jī)之間的無障礙交流，使計(jì)算機(jī)趨向于智能化。情感計(jì)算大致可分為識別和傳達(dá)兩個(gè)過程，識別即讓機(jī)器通過學(xué)習(xí)能準(zhǔn)確的分析出人類的情感狀態(tài)，表達(dá)即讓機(jī)器可以在合適的載體上準(zhǔn)確的傳達(dá)出情感，現(xiàn)階段研究重心在于如何讓機(jī)器準(zhǔn)確識別面部情感進(jìn)而分析。

傳統(tǒng)基于機(jī)器學(xué)習(xí)的面部情感識別大多主要集中于人臉表情特征的選擇與提取方面，按照人為預(yù)先定義的對面部情感特征進(jìn)行分析。但自然狀態(tài)下的人臉，具有相同情感的兩個(gè)面部圖像往往存在較大的差異(姿態(tài)以及人臉固有的外觀差異)，按照統(tǒng)一預(yù)定義的規(guī)則提取特征，會造成同種情感的不同樣本提取的情感特征差異較大；其次手動提取特征實(shí)質(zhì)就是按照預(yù)定義的規(guī)則對高維圖像降維，這個(gè)過程往往會造成情感信息丟失。

隨著深度學(xué)習(xí)的發(fā)展，基于深度卷積網(wǎng)絡(luò)的面部情感逐漸成為熱門研究領(lǐng)域，讓網(wǎng)絡(luò)自行學(xué)習(xí)所需情感特征并進(jìn)行分析替代了傳統(tǒng)人為定義的方式。但當(dāng)下的深度學(xué)習(xí)分析方法都忽略了描述情感所用維度之間的相關(guān)性，研究面部情感信息時(shí)將描述維度Arousal(興奮度)，Valence(活躍度)等獨(dú)立于彼此進(jìn)行計(jì)算，這導(dǎo)致忽略了兩個(gè)維度之間的正相關(guān)關(guān)系，降低了模型的預(yù)測性能。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于卷積神經(jīng)網(wǎng)絡(luò)的面部情感分析方法，解決了現(xiàn)有模型進(jìn)行面部情感分析時(shí)，忽略情感維度之間相關(guān)性、降低預(yù)測的準(zhǔn)確性的問題。

本發(fā)明所采用的技術(shù)方案是，一種基于卷積神經(jīng)網(wǎng)絡(luò)的面部情感分析方法，包括以下步驟：

步驟1，選擇訓(xùn)練樣本和驗(yàn)證樣本；

基于Affect-Net數(shù)據(jù)庫的九種離散標(biāo)簽，選取對應(yīng)的九類離散樣本，每類離散樣本均取不少于10500個(gè)樣本，不少于10000個(gè)作為訓(xùn)練樣本，不少于500個(gè)作為驗(yàn)證樣本；因此，選取不少于90000個(gè)作為訓(xùn)練樣本，不少于4500個(gè)作為驗(yàn)證樣本，在Affect-Net數(shù)據(jù)集提供的測試集上測試模型的性能；

步驟2，輸入步驟1中的訓(xùn)練樣本作為的待處理人臉圖像，預(yù)處理，得到歸一化人臉圖像以及歸一化人臉特征點(diǎn)；

步驟3，將步驟2的歸一化人臉圖像送入卷積神經(jīng)網(wǎng)絡(luò)模型提取情感特征，并將歸一化人臉特征點(diǎn)信息送入卷積神經(jīng)網(wǎng)絡(luò)模型全連接層得到位置特征，最終情感特征與位置特征進(jìn)行拼接；

步驟4，將步驟3得到的情感特征經(jīng)過全連接層線性映射為二維的預(yù)測標(biāo)簽arousal和valence值，定義卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)，衡量損失，使網(wǎng)絡(luò)反向傳播，直至網(wǎng)絡(luò)模型訓(xùn)練完成；

步驟5，將步驟1中驗(yàn)證樣本中的圖像作為輸入，重復(fù)步驟2-4，完成驗(yàn)證。

本發(fā)明的特征還在于，

步驟2具體為：