[發(fā)明專利]基于雙流網(wǎng)絡(luò)的面部情感識別方法、裝置、介質(zhì)及設(shè)備

有效

• 申請?zhí)枺?/td>: 202110168280.7
• 申請日: 2021-02-07
• 公開（公告）號: CN112801009B
• 公開（公告）日: 2023-02-14
• 發(fā)明（設(shè)計）人: 田翔;馮國權(quán);劉芳;王琳
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/82;G06N3/045;G06N3/0464;G06N3/0442
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 霍健蘭;梁瑩

本發(fā)明提供了一種基于雙流網(wǎng)絡(luò)的面部情感識別方法、裝置、介質(zhì)及設(shè)備；其中方法包括預(yù)處理工序、空間特征提取工序、時間相位差特征提取工序、特征融合工序以及時序結(jié)果判別工序；預(yù)處理工序從視頻中檢測以及裁剪出人臉?biāo)趨^(qū)域，并抽取關(guān)鍵幀；空間特征提取工序通過卷積神經(jīng)網(wǎng)絡(luò)提取面部圖片幀的特征向量；時間相位差特征提取工序采用方向可操縱金字塔對相鄰幀提取相位差特征向量；特征融合工序?qū)⒖臻g特征和時間特征按分配的權(quán)重整合，得到用于判別的雙流特征向量；時序結(jié)果判別工序通過GRU對雙流特征向量進(jìn)行關(guān)聯(lián)和判別，得到量化的面部情感的活躍程度和積極/消極程度。本發(fā)明面部情感識別準(zhǔn)確率高效，具有良好的識別效果。

技術(shù)領(lǐng)域

本發(fā)明涉及計算機(jī)視頻處理技術(shù)領(lǐng)域，更具體地說，涉及一種基于雙流網(wǎng)絡(luò)的面部情感識別方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)

近年來，隨著人工智能技術(shù)的高速發(fā)展，計算機(jī)視覺技術(shù)的準(zhǔn)確率和效率都得到了很大的提高，而面部情感識別的應(yīng)用更是引起了廣泛關(guān)注。常用領(lǐng)域有：疲勞駕駛監(jiān)測、心理測評、產(chǎn)品測試、生活娛樂、刑事偵查、安全監(jiān)控、醫(yī)療診斷、虛擬現(xiàn)實以及智慧教育等領(lǐng)域。而情感計算研究的發(fā)展以及眾多情感特征的使用，令面部情感的研究更加火熱，對應(yīng)的成果也在逐年增加。根據(jù)相關(guān)研究者的研究表明面部情感所包含的情感信息能夠達(dá)到55％，因此研究面部情感識別對于人整體的情感計算有著至關(guān)重要的意義。

在過去的長期研究中，實驗室條件下的面部情感一直以來都作為研究的樣本，angry(憤怒)、disgust(厭惡)、fear(害怕)、happy(開心)、netural(平靜)、sad(傷心)、surprise(驚訝)這七個情感則是作為識別的標(biāo)志，人們在實驗室下的面部情感數(shù)據(jù)集基于這一標(biāo)志做研究。但是，過于標(biāo)準(zhǔn)的環(huán)境會使得訓(xùn)練的判別模型魯棒性小、可遷移性差、實用性低，對實現(xiàn)人類情感計算的意義較小。隨著研究的深入發(fā)展和自然場景下數(shù)據(jù)集的發(fā)表，自然場景下的面部情感的識別也逐漸提上日程。自然場景下的面部情感圖像與實驗室條件相比存在多姿態(tài)、遮擋以及光照等問題，因此傳統(tǒng)的手工特征的方法和淺層卷積神經(jīng)網(wǎng)絡(luò)的方法難以在自然場景下的情感數(shù)據(jù)集上取得較好的識別準(zhǔn)確率。此外，由于情感是人臉肌肉的運動組合而來，其特征相對于其它圖像更加細(xì)微，同一種類別的情感也會存在較大的差異，且不同情感之間往往是局部的特征變化，而這些微情感的變化對面部情感識別起到關(guān)鍵性的作用。為了利用介于1/25到1/3秒之間(大約2-10幀)的微情感信息，對視頻中的微情感識別成為現(xiàn)在情感識別發(fā)展的重要方向。此外，盡管七種基本情感系統(tǒng)已在多種情感識別系統(tǒng)中非常流行，但人們?nèi)哉J(rèn)為該系統(tǒng)可能在文化上并不普遍。因此，有人提出了一個維度上連續(xù)的Arousal-Valence空間，Arousal是指情緒的活躍程度，Valence是指情緒的積極或消極程度。Arousal-Valence連續(xù)情感系統(tǒng)已應(yīng)用于標(biāo)記一系列情感數(shù)據(jù)集(例如Aff-Wild、Aff-Wild2、OMG-dataset等)。為了提高情感識別的準(zhǔn)確率，更好地提取微情感和宏觀情感的特征成了我們要實現(xiàn)的目標(biāo)。因此，我們需要能夠針對性提取微觀和宏觀情感并將其有機(jī)融合的模型來達(dá)到更好的情感識別的準(zhǔn)確度。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)中的缺點與不足，本發(fā)明的目的在于提供一種基于雙流網(wǎng)絡(luò)的面部情感識別方法、裝置、介質(zhì)及設(shè)備

為了達(dá)到上述目的，本發(fā)明通過下述技術(shù)方案予以實現(xiàn)：一種基于雙流網(wǎng)絡(luò)的面部情感識別方法，其特征在于：包括預(yù)處理工序、空間特征提取工序、時間相位差特征提取工序、特征融合工序以及時序結(jié)果判別工序；

所述預(yù)處理工序是指：從自然場景視頻中檢測并裁剪出人臉?biāo)趨^(qū)域，并按照時間段抽取若干關(guān)鍵幀，將各個關(guān)鍵幀裁剪出的面部區(qū)域作為待識別的面部圖片I；

所述空間特征提取工序是指：通過卷積神經(jīng)網(wǎng)絡(luò)(F_s)提取各個面部圖片I的空間特征，并通過全連接層fc_s轉(zhuǎn)化為特征向量f_s，公式表示為：