[發(fā)明專利]基于特征融合的表情識別方法

在審

• 申請?zhí)枺?/td>: 202110391976.6
• 申請日: 2021-04-13
• 公開（公告）號: CN113111940A
• 公開（公告）日: 2021-07-13
• 發(fā)明（設(shè)計）人: 李春國;吳桐;郝培鈞;楊鎮(zhèn)安;胡超;李成祥;楊綠溪
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務(wù)所(普通合伙) 32249
• 代理人: 吳旭

本發(fā)明公開了一種基于特征融合的表情識別方法，首先對數(shù)據(jù)集進行數(shù)據(jù)增廣操作，接著利用特征融合子網(wǎng)絡(luò)將VGGNet?19網(wǎng)絡(luò)的不同層次語義級別特征提取出來輸入全連接層，并使用拼接層將不同全連接層進行并聯(lián)拼接，最后通過全連接層進行表情分類，實現(xiàn)表情識別任務(wù)。此網(wǎng)絡(luò)結(jié)構(gòu)的特點是可以從零開始訓(xùn)練網(wǎng)絡(luò)，不需要預(yù)訓(xùn)練模型。本發(fā)明在FER2013表情數(shù)據(jù)集上的表現(xiàn)達到了較高的水平。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于特征融合的表情識別方法，適用于多媒體信號處理領(lǐng)域。

背景技術(shù)

在現(xiàn)代社會中，溝通和交流必不可少，人們每時每刻都在用不同的方式和渠道進行著交流。一般意義上，人類交流傳達信息的方式通常可以分為語言和非語言兩大部分。通過語言，人們可以直接獲得話語中的相關(guān)信息，是一種較為直接的方式。然而，在實際交流過程中，人們總是可以通過除語言之外的其他非語言的方式來獲得更多的信息。其中，表情扮演了非常重要的角色。表情每時每刻都在隨著人們的情感發(fā)生變化，蘊含了豐富的信息，是傳遞信息的一種天然媒介。

表情識別是計算機視覺的重要方向，它通過從靜態(tài)圖像或者動態(tài)的視頻序列當中分類出表情，模擬人類識別表情的方法，確定人類的情感狀態(tài)，使計算機能夠像人類一樣準確地通過表情判斷情緒狀態(tài)。因此，表情識別可以廣泛應(yīng)用于駕駛者的疲勞監(jiān)測、謊言監(jiān)測、醫(yī)療、安防、教育、娛樂、虛擬現(xiàn)實、增強現(xiàn)實等人機交互的用途當中。

與傳統(tǒng)表情識別方法相比，基于深度學(xué)習(xí)方法的表情識別能夠極大地減少對于單獨的模塊如圖像預(yù)處理和特征提取的依賴，通過構(gòu)造深層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，計算機能夠提取圖像的多層特征，學(xué)習(xí)到更為抽象的表情特征，并融合到一個端到端模型當中，能夠提高分類準確率，具有更強的魯棒性。深度學(xué)習(xí)的方式與人類大腦認識事物的方式類似，對于抽象的圖片，文字，語音等都展示出了遠勝于傳統(tǒng)方法的準確率。除此之外，它還展示了處理更復(fù)雜數(shù)據(jù)集的能力。因此，在表情識別領(lǐng)域，基于深度學(xué)習(xí)的方法也被研究者們越來越多地應(yīng)用。

然而在基于深度神經(jīng)網(wǎng)絡(luò)的表情識別當中，神經(jīng)網(wǎng)絡(luò)通過不同的卷積層學(xué)習(xí)到輸入圖像不同的特征，每一個卷積層對應(yīng)輸出不同尺寸大小的特征圖。隨著網(wǎng)絡(luò)深度的增加，卷積層輸出的特征圖在學(xué)習(xí)到的特征方面也有著區(qū)別，對于淺層的卷積層而言，輸出的特征圖更多包含了低層級特征，比如紋理、細節(jié)等特征。對于深層卷積層而言，隨著特征圖尺寸越來越小，特征圖能夠提取到的更多是高層級的語義特征與一些最強特征，這時的特征圖可視化后，人眼已經(jīng)難以辨別出與原圖的關(guān)系，這是因為在網(wǎng)絡(luò)層數(shù)由淺入深的過程中，特征圖要經(jīng)歷一系列下采樣操作，而下采樣為了縮小特征圖尺寸，減小計算量，將不可避免地丟失很多淺層網(wǎng)絡(luò)提取到的細節(jié)特征。

發(fā)明內(nèi)容

發(fā)明目的：針對上述現(xiàn)有技術(shù)，提出一種基于特征融合的表情識別方法，解決傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)對于表情特征提取不充分的問題。

技術(shù)方案：基于特征融合的表情識別方法，包括如下步驟：

步驟1：對數(shù)據(jù)集進行數(shù)據(jù)增廣；

步驟2：將步驟1得到的增廣圖片輸入VGGNet-19網(wǎng)絡(luò)進行訓(xùn)練，通過全連接層后提取得到主網(wǎng)絡(luò)特征；

步驟3：在第三次池化與第四次池化操作后分別將特征圖輸入特征融合子網(wǎng)絡(luò)進行訓(xùn)練，并最終與主網(wǎng)絡(luò)融合，進行分類。

進一步的，所述步驟1包括如下子步驟：

步驟1.1：對數(shù)據(jù)集中圖片進行隨機剪裁與水平翻轉(zhuǎn)，具體為：對數(shù)據(jù)集中尺寸為48×48大小的灰度圖進行隨機裁剪，所述隨機裁剪即選取一個40×40大小的窗口對輸入圖像進行裁剪，窗口位置隨機，裁剪后圖片尺寸大小為40×40；然后對進行隨機裁剪后的數(shù)據(jù)集以概率0.5進行隨機水平翻轉(zhuǎn)，即依據(jù)下式進行處理：

I_preprocess＝Flip(Crop(I_input))