[發(fā)明專利]基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810373477.2
• 申請(qǐng)日: 2018-04-24
• 公開（公告）號(hào): CN108615010B
• 公開（公告）日: 2022-02-11
• 發(fā)明（設(shè)計(jì)）人: 蔡軍;昌泉;蔡芳;唐賢倫;陳曉雷;魏暢;伍亞明;林文星
• 申請(qǐng)（專利權(quán)）人: 重慶郵電大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V30/19;G06N3/04
• 代理公司: 重慶市恒信知識(shí)產(chǎn)權(quán)代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

1.一種基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法，其特征在于，包括以下步驟：

將人臉表情圖像進(jìn)行包括截取人臉面部區(qū)域和歸一化步驟在內(nèi)的預(yù)處理操作；

將處理后圖像輸入平行卷積神經(jīng)網(wǎng)絡(luò)的不同通道進(jìn)行卷積池化運(yùn)算；

對(duì)平行卷積神經(jīng)網(wǎng)絡(luò)的最后一個(gè)池化層輸出的特征圖進(jìn)行特征比例融合得到融合后特征圖；

再將融合后特征圖展開成一維向量的全連接形式，然后做不同連接復(fù)雜度的全連接的特征信息組合；

最后將組合信息用于分類識(shí)別；

所述對(duì)網(wǎng)絡(luò)最后一個(gè)池化層輸出的特征圖進(jìn)行特征比例融合的步驟為：將通道1和通道2的特征圖按照學(xué)習(xí)比例融合，各通道輸出乘以一權(quán)值向量后進(jìn)行特征圖疊加；如下式：

F＝aA+bB (3)

式中，a,b分別為第一通道特征權(quán)重和第二通道特征權(quán)值，為可訓(xùn)練變量；A,B分別為第一通道特征圖矩陣和第二通道特征圖矩陣；F為融合后特征信息矩陣，融合后特征圖F展開為大小為4096個(gè)元素的一維向量形式FC1；

所述將獲取的特征信息展開成一維向量的全連接形式，后做不同連接復(fù)雜度的全連接的特征信息組合，具體包括：

將FC1一維向量分別連接到512單元神經(jīng)元的FC1-1和FC1-2的全連接層上，其FC1-1采用保留比例0.3的Dropout稀疏形式連接，F(xiàn)C1-2采用保留比例為0.6的Dropout稠密連接形式。

2.根據(jù)權(quán)利要求1所述的基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法，其特征在于，所述對(duì)獲取的人臉表情圖像進(jìn)行截取人臉面部區(qū)域和歸一化預(yù)處理，具體包括：

人臉面部區(qū)域獲取：獲取人臉面部區(qū)域，選擇256×256大小的圖像區(qū)域；

歸一化：將獲取的人臉表情圖像進(jìn)行歸一化使圖像數(shù)值在[0,1]范圍內(nèi)。

3.根據(jù)權(quán)利要求1所述的基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法，其特征在于，所述將處理后圖像輸入平行卷積神經(jīng)網(wǎng)絡(luò)不同通道進(jìn)行卷積池化運(yùn)算，具體步驟如下：

第一卷積層采用5×5大小卷積核獲得4張?zhí)卣鲌D，然后繼續(xù)使用5×5大小卷積核卷積得到8張大小為128×128的特征圖，之后連接大小為2×2，步長(zhǎng)為2的池化核進(jìn)行最大池化，獲得64×64大小特征圖并采用Swish作為激活函數(shù)，再將8張大小為64×64的特征圖進(jìn)行批量歸一化處理；通道1和通道2均做相同處理。

4.根據(jù)權(quán)利要求3所述的基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法，其特征在于，所述1通道或2通道的卷積和池化運(yùn)算過程為：

1)使用兩個(gè)連續(xù)卷積層結(jié)構(gòu)，其卷積核大小為5×5；

2)采用大小2×2的池化核進(jìn)行最大池化處理；

3)批量歸一化處理,對(duì)最大池化層輸出數(shù)據(jù)求得整體的均值和方差然后采用式(1,2)調(diào)整數(shù)據(jù)結(jié)構(gòu)分布；

式中x_i為輸入值，μ_B為批次的均值，σ_B是批次的方差，γ，β為可訓(xùn)練參數(shù)。

5.根據(jù)權(quán)利要求3所述的基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法，其特征在于，所述通道1連接形式:

Conv1_3--Max_pooling--Conv1_4--Max_pooling--Conv1_5--Max_pooling；

Conv1_x表示1通道第x個(gè)卷積層，Max_pooling表示最大池化層；

通道2連接形式:

Conv2_3--Max_pooling--Conv2_4--Max_pooling--Conv2_5--Max_pooling；

Conv2_x表示2通道第x個(gè)卷積層，Max_pooling表示最大池化層。

6.根據(jù)權(quán)利要求1所述的基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法，其特征在于，將FC1-1和FC1-2分別連接7個(gè)神經(jīng)元的輸出單元OUT1,OUT2，之后輸出OUT由OUT1和OUT2疊加。

7.根據(jù)權(quán)利要求6所述的基于平行卷積神經(jīng)網(wǎng)絡(luò)特征圖融合的人臉表情識(shí)別方法，其特征在于，將融合后輸出的OUT輸入到Softmax分類器進(jìn)行分類置信度概率計(jì)算，其向量中最大值索引號(hào)為分類表情編號(hào)，將分類的編號(hào)對(duì)應(yīng)表情類別字符數(shù)組，最后將表情識(shí)別顯示為中性、生氣、厭惡、恐懼、高興、悲傷、驚訝的表情類別。