[發明專利]基于平行卷積神經網絡特征圖融合的人臉表情識別方法

有效

• 申請號: 201810373477.2
• 申請日: 2018-04-24
• 公開（公告）號: CN108615010B
• 公開（公告）日: 2022-02-11
• 發明（設計）人: 蔡軍;昌泉;蔡芳;唐賢倫;陳曉雷;魏暢;伍亞明;林文星
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V30/19;G06N3/04
• 代理公司: 重慶市恒信知識產權代理有限公司 50102
• 代理人: 劉小紅;陳棟梁

本發明請求保護一種基于平行卷積神經網絡特征圖融合的人臉表情識別方法。該方法模擬人雙眼視覺通道，設計一種平行結構的卷積神經網絡，在卷積池化層后對平行通道的特征圖進行融合；并在全連接層結構上，將其中一通道采用稀疏全連接輸出，另一通道采用稠密全連接輸出，最后二者輸出融合并分類；采用人臉表情數據進行模型訓練達到較高識別率后使用測試樣本檢測模型的識別效果，并獲得較高的識別準確率，為情感分析人臉表情識別提供了一個新的方法。

技術領域

本發明屬于圖像識別領域，特別是運用平行卷積神經網絡進行人臉表情特征提取并識別的方法。

背景技術

人臉表情包含豐富的情感真實信息，準確高效的識別人臉表情是圖像視覺領域的一個重要研究方向。人臉表情信息可運用于遠程教育、輔助醫療、刑偵測謊等多領域。人臉表情識別技術是通過特定的方法進行人臉表情特征提取后對特征信息進行分類識別的過程。

目前人臉表情識別常用的特征提取可分為基于形狀模型和紋理模型方法。其中基于形狀模型的主要有主動外觀模型，其通過圖像之間的差異獲取特征，方法簡單便捷，缺點在于對具有光照，復雜背景以及角度干擾情形下的識別效果較差。基于紋理模型的典型方法有局部二值模型(LBP)和Gabor小波以及方向梯度直方圖(HOG)特征的提取，這類方法對圖像的某類特征進行提取，相比形狀模型可使特征目標明確化，但是由于人臉表情的微弱性導致不同表情之間的差異性低，提取的特征不足導致識別誤差較大。

近年，深度學習方法對特征的自動提取能力被運用到人臉表情識別上。采用常規的CNN、DBN、RNN模型對具有較大差異表情有一定的識別的效果，但對微小表情特征的區分識別效果不理想。為使模型對微小差異表情特征有足夠的特征提取能力的同時方便模型訓練完成，從而具有較高的識別準確率，滿足實際的場景運用需求，本發明提出一種平行卷積神經網絡特征圖融合的人臉表情識別方法，以適用于復雜條件下的人臉表情識別。

發明內容

本發明旨在解決以上現有技術的問題。提出了一種提高對復雜場景下的人臉表情識別準確度的基于平行卷積神經網絡特征圖融合的人臉表情識別方法。本發明的技術方案如下：

一種基于平行卷積神經網絡特征圖融合的人臉表情識別方法，其包括以下步驟：

將人臉表情圖像進行包括截取人臉面部區域和歸一化步驟在內的預處理操作；

將處理后圖像輸入平行卷積神經網絡的不同通道進行卷積池化運算；

對平行卷積神經網絡的最后一個池化層輸出的特征圖進行特征比例融合得到融合后特征圖；

再將融合后特征圖展開成一維向量的全連接形式，然后做不同連接復雜度的全連接的特征信息組合；

最后將組合信息用于分類識別。

進一步的，所述對獲取的人臉表情圖像進行截取面部區域和歸一化預處理，具體包括：

人臉面部獲取：獲取人臉面部區域，選擇256×256大小的圖像區域；

歸一化：將獲取的人臉表情圖像進行歸一化使圖像數值在[0,1]范圍內。

進一步的，所述將處理后圖像輸入平行卷積神經網絡不同通道進行卷積池化運算，具體步驟如下：

第一卷積層采用5×5大小卷積核獲得4張特征圖，然后繼續使用5×5大小卷積核卷積得到8張大小為128×128的特征圖，之后連接大小為2×2，步長為2的池化核進行最大池化，獲得64×64大小特征圖并采用Swish作為激活函數，再將8張大小為64×64的特征圖進行批量歸一化處理。通道1和通道2均做相同處理。

進一步的，所述1通道或2通道的卷積和池化運算過程為：

1)使用兩個連續卷積層結構，其卷積核大小為5×5；