[發(fā)明專利]一種基于CNN-Transformer的面部表情識(shí)別方法及裝置

在審

• 申請?zhí)枺?/td>: 202111221354.5
• 申請日: 2021-10-20
• 公開（公告）號: CN113887487A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計(jì)）人: 徐林森;梁興燦;劉志鵬;張文祥;劉進(jìn)福;張燕
• 申請（專利權(quán)）人: 河海大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T3/00;G06T5/20;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識(shí)產(chǎn)權(quán)代理有限公司 32224
• 代理人: 孫永生

本發(fā)明公開了一種基于CNN?Transformer的面部表情識(shí)別方法及裝置，屬于數(shù)字圖像信號處理技術(shù)領(lǐng)域，所述方法包括對輸入圖片進(jìn)行預(yù)處理，獲得矯正后的人臉圖片；計(jì)算人臉圖像的LBP特征，并作為輸入送入預(yù)先構(gòu)建的CNN網(wǎng)絡(luò)獲得面部的局部特征；將人臉圖像均勻劃分之后送入Transformer獲得面部的全局特征；對全局特征和局部特征進(jìn)行信息融合，獲得融合特征；通過融合特征來進(jìn)行情感識(shí)別，本發(fā)明通過特征融合模塊，可自主學(xué)習(xí)局部特征和全局特征對整體的影響權(quán)重，有效提高不同特征之間的互補(bǔ)性，這樣可充分利用全局特征和局部特征中所蘊(yùn)含的情感信息，進(jìn)而提高情感分類的識(shí)別準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于CNN-Transformer的面部表情識(shí)別方法及裝置，屬于數(shù)字圖像信號處理技術(shù)領(lǐng)域。

背景技術(shù)

在日常交流中，我們可以以文字和非文字形式來表達(dá)情感，其中面部表情可以承載的信息尤其重要。另外面部表情識(shí)別可以應(yīng)用于疲勞駕駛檢測、情感合成、廣告精準(zhǔn)投放、醫(yī)療健康和人機(jī)交互等領(lǐng)域，具有廣泛的應(yīng)用前景。

面部表情識(shí)別可以分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩種。傳統(tǒng)方法主要是通過提取諸如局部二值模式(LBP)、Gabor特征、方向梯度直方圖(HOG)、詞袋特征(BOW)和尺度不變特征變換(SIFT)等手工淺層特征作為向量表示，然后通過支持向量機(jī)(SVM)、隨機(jī)森林(RF)和k-近鄰算法(k-NN)等對表示進(jìn)行分類，來獲得情感分類結(jié)果的方法。由于淺層特征需要精巧的設(shè)計(jì)，而且不能深層次的表達(dá)面部情感，因此最近通過使用深度學(xué)習(xí)方式來對原始圖片進(jìn)行深度特征提取的方式得到廣泛研究。使用卷積神經(jīng)網(wǎng)絡(luò)(CNN)可以通過感受野的變化來對圖像進(jìn)行提取局部特征，捕捉微小的局部變化，具有強(qiáng)大的局部建模能力。使用Transformer的全局建模能力，可以對圖片的整體進(jìn)行一個(gè)宏觀的把握，這樣可以忽略局部的噪聲，提高系統(tǒng)的魯棒性。

面部表情識(shí)別中面臨的挑戰(zhàn)之一就是局部遮擋，其中包括戴眼鏡、帽子和口罩，手放在面部等操作導(dǎo)致的局部信息缺失。針對這一問題，大多數(shù)現(xiàn)有技術(shù)采用替換或者忽略被遮擋部分的操作。其中替換操作是指首先檢測到被遮擋部分，然后通過預(yù)測被遮擋部分的可能表現(xiàn)形式，最后對被遮擋部分進(jìn)行補(bǔ)全。此類方法如果預(yù)測錯(cuò)誤，對最終識(shí)別結(jié)果會(huì)造成很大的影響。而忽略操作分為兩種，一種是直接忽略被遮擋部分，使用缺失的面部圖像進(jìn)行情感分類，另外一種是通過網(wǎng)絡(luò)的自動(dòng)學(xué)習(xí)，給被遮擋部分極低的權(quán)值，達(dá)到忽略的目的。此方法雖然更符合人類的認(rèn)知行為，但是怎么樣對圖像進(jìn)行劃分才能更好地表達(dá)面部特征，是一個(gè)比較有爭議的話題。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有技術(shù)中的不足，提供一種基于CNN-Transformer的面部表情識(shí)別方法及裝置，可以對局部微小變化特征和全局特征同時(shí)進(jìn)行建模。

為達(dá)到上述目的，本發(fā)明是采用下述技術(shù)方案實(shí)現(xiàn)的：

第一方面，本發(fā)明提供了一種基于CNN-Transformer的面部表情識(shí)別方法及裝置，包括：

對輸入圖片進(jìn)行預(yù)處理，獲得矯正后的人臉圖片；

計(jì)算人臉圖像的LBP特征，并作為輸入送入預(yù)先構(gòu)建的CNN網(wǎng)絡(luò)獲得面部的局部特征；

將人臉圖像均勻劃分之后送入Transformer獲得面部的全局特征；

對全局特征和局部特征進(jìn)行信息融合，獲得融合特征；

通過融合特征來進(jìn)行情感識(shí)別。

進(jìn)一步的，所述對輸入圖片進(jìn)行預(yù)處理，獲得矯正后的人臉圖片，包括：

通過Dlib工具箱提供的基于方向梯度直方圖的人臉檢測器進(jìn)行圖片中人臉的檢測，去除非人臉部分，獲得人臉圖片；

通過Imutils包中基于仿射變換的人臉校正器對人臉圖片進(jìn)行人臉校正，使兩眼在同一水平線上，獲得矯正后的人臉圖片。