[發(fā)明專利]一種基于CNN-Transformer的面部表情識別方法及裝置

在審

• 申請?zhí)枺?/td>: 202111221354.5
• 申請日: 2021-10-20
• 公開（公告）號: CN113887487A
• 公開（公告）日: 2022-01-04
• 發(fā)明（設(shè)計）人: 徐林森;梁興燦;劉志鵬;張文祥;劉進(jìn)福;張燕
• 申請（專利權(quán)）人: 河海大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T3/00;G06T5/20;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 孫永生

1.一種基于CNN-Transformer的面部表情識別方法，其特征在于，包括：

對輸入圖片進(jìn)行預(yù)處理，獲得矯正后的人臉圖片；

計算人臉圖像的LBP特征，并作為輸入送入預(yù)先構(gòu)建的CNN網(wǎng)絡(luò)獲得面部的局部特征；

將人臉圖像均勻劃分之后送入Transformer獲得面部的全局特征；

對全局特征和局部特征進(jìn)行信息融合，獲得融合特征；

通過融合特征來進(jìn)行情感識別。

2.根據(jù)權(quán)利要求1所述的基于CNN-Transformer的面部表情識別方法，其特征在于：所述對輸入圖片進(jìn)行預(yù)處理，獲得矯正后的人臉圖片，包括：

通過Dlib工具箱提供的基于方向梯度直方圖的人臉檢測器進(jìn)行圖片中人臉的檢測，去除非人臉部分，獲得人臉圖片；

通過Imutils包中基于仿射變換的人臉校正器對人臉圖片進(jìn)行人臉校正，使兩眼在同一水平線上，獲得矯正后的人臉圖片。

3.根據(jù)權(quán)利要求1所述的基于CNN-Transformer的面部表情識別方法，其特征在于：所述計算人臉圖像的LBP特征，并作為輸入送入預(yù)先構(gòu)建的CNN網(wǎng)絡(luò)獲得面部的局部特征，包括：

對矯正后的人臉圖像計算以1為半徑，圓形區(qū)域內(nèi)含有8個采樣點(diǎn)的圓形LBP算子，獲得局部手工特征圖；

把所述局部手工特征圖輸入到典型的Resnet18中，進(jìn)一步獲得圖像的局部特征。

4.根據(jù)權(quán)利要求1所述的基于CNN-Transformer的面部表情識別方法，其特征在于：所述將人臉圖像均勻劃分之后送入Transformer獲得面部的全局特征，包括：

將人臉圖像進(jìn)行均勻劃分為N塊，每一塊轉(zhuǎn)化為一維向量，可以獲得輸入矩陣M∈R^N×D，其中D為一維向量的長度；

把輸入矩陣M輸入到經(jīng)典的Swin Transformer中，獲得人臉圖像的忽略細(xì)節(jié)的全局特征。

5.根據(jù)權(quán)利要求1所述的基于CNN-Transformer的面部表情識別方法，其特征在于：所述對全局特征和局部特征進(jìn)行信息融合，獲得融合特征，包括：

利用公式求出全局特征權(quán)重，其中F_glo表示全局特征，GAP表示全局平均池化,BN表示批標(biāo)準(zhǔn)化,δ表示激活函數(shù)ReLu,σ表示Sigmoid函數(shù)，表示對應(yīng)元素逐個相加，Conv₁和Conv₂表示卷積層；

利用公式局部特征權(quán)重，其中，F(xiàn)_loc表示局部特征；

利用公式獲得融合特征，此融合特征不僅具有面部的局部變化特征，而且包含面部的全局特征，其中表示對應(yīng)元素逐個相乘。

6.根據(jù)權(quán)利要求1所述的基于CNN-Transformer的面部表情識別方法，其特征在于：所述通過融合特征來進(jìn)行情感識別，包括：

將所述融合特征輸入到全連接網(wǎng)絡(luò)中，再通過Softmax層將網(wǎng)絡(luò)的輸出范圍壓縮到[0,1]之間，并且所有的輸出和等于1，表示人臉圖像中屬于各個表情類別的概率；

將得到的概率值利用交叉熵?fù)p失函數(shù)得到網(wǎng)絡(luò)整體的損失值，通過BP算法來優(yōu)化網(wǎng)絡(luò)參數(shù)，使得損失值達(dá)到最小來訓(xùn)練網(wǎng)絡(luò)；

在模型測試階段，使用訓(xùn)練得到的網(wǎng)絡(luò)，通過對輸入圖片的概率預(yù)測，獲得對應(yīng)的情感識別類別結(jié)果。

7.一種基于CNN-Transformer的面部表情識別裝置，其特征在于，包括：

預(yù)處理單元，用于對輸入圖片進(jìn)行預(yù)處理，獲得矯正后的人臉圖片；

局部特征獲取單元，用于計算人臉圖像的LBP特征，并作為輸入送入預(yù)先構(gòu)建的CNN網(wǎng)絡(luò)獲得面部的局部特征；

全局特征獲取單元，用于將人臉圖像均勻劃分之后送入Transformer獲得面部的全局特征；

融合特征獲取單元，用于對全局特征和局部特征進(jìn)行信息融合，獲得融合特征；

識別結(jié)果獲取單元，用于通過融合特征來進(jìn)行情感識別。