[發明專利]基于增強CNN和跨層LSTM的表情識別系統與方法

在審

• 申請號: 202010324539.8
• 申請日: 2020-04-22
• 公開（公告）號: CN111523461A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 陳瑞;童瑩;齊宇霄;陳樂;曹雪虹
• 申請（專利權）人: 南京工程學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京睿之博知識產權代理有限公司 32296
• 代理人: 楊雷

本發明公開了一種基于增強CNN和跨層LSTM的表情識別系統與方法，系統包括特征增強CNN模塊、跨層LSTM模塊和全連接層，特征增強CNN模塊與跨層LSTM模塊級聯進行端到端訓練；特征增強CNN模塊在骨干CNN網絡的中間層引出一條特征增強支路，并將特征增強支路的輸出與骨干CNN網絡的輸出融合；跨層LSTM模塊在至少兩層LSTM網絡級聯的基礎上，將特征增強CNN模塊的輸出輸入到第一層LSTM網絡，同時將特征增強CNN模塊的輸出跨接到后層LSTM網絡的輸入端。本發明有助于獲取準確的視頻序列表情時間信息，有效提高非約束人臉表情識別的準確率，在人機交互、智慧教育、病人監護等領域具有廣大應用前景。

技術領域

本發明涉及表情識別技術領域，具體涉及一種基于增強CNN和跨層LSTM的表情識別系統與方法。

背景技術

人臉表情包含豐富的情感信息，是人類情緒表達的重要方式之一，也是人們進行非語言情感交流的有效手段。人們可以通過面部表情表達自己的情感，也可以準確辨認出對方的內心情感變化。因此，對人臉表情進行準確識別具有重要的研究價值和應用前景，是近年來人工智能領域的研究熱點。

人臉表情識別系統一般包括圖像預處理、人臉檢測與人臉區域分割、表情特征提取和表情分類四個步驟，其中，表情特征提取和表情分類是系統實現的兩個關鍵步驟。常用的傳統人臉表情特征提取方法有LBP、HOG、SIFT、Gabor以及它們的改進算子，常用的傳統分類器有支持向量機(Support Vector Machine，SVM)、隨機森林(Random Forest，RF)、高斯過程(Gaussian Process，GP)、隱馬爾可夫模型(Hidden Markov Model，HMM)等等。

然而，隨著人臉表情識別在實際應用中的需求越來越廣泛，進行測試的人臉表情數據庫逐漸從簡單的實驗環境采集的數據庫(人臉圖像是正面、無遮擋的，且受試者根據要求夸張的表現情感)轉向復雜的真實環境采集的數據庫(人臉圖像受真實環境光照、姿態變化、遮擋、配飾等多種因素混合干擾，且受試者自然的表現情感，情感表現程度各不相同)，這導致傳統機器學習算法難以勝任復雜多變的非約束人臉表情識別。因此，具有強大學習能力的深度神經網絡逐漸被應用在非約束人臉表情識別中，并取得了令人矚目的效果。例如，MayyaV等人采用DCNN網絡自動識別人臉表情；ConnieT等人采用混合CNN-SIFT網絡提高人臉表情識別準確率；Bargal等人采用VGG13、VGG16、Resnet三個不同的網絡提取表情圖像的特征，并將特征融合使用支持向量機SVM實現分類；梁等人提出自適應Gabor卷積核編碼網絡的表情識別方法，對傳統的Gabor核進行改進，提高了識別率。

上述方法是基于靜態單幀圖像的，與其相比，視頻序列能夠表達更豐富的表情變化信息，能夠更精確地反映一個完整表情的運動過程，因此，基于視頻序列的人臉表情識別研究更有實用價值，也更具有挑戰性。Zhao等人提出了一種基于peak-piloted的表情識別方法(PPDN)，使用峰值表情樣本來監督相同類型的非峰值表情樣本的中間特征變化，實現表情強度不變性；Yu等人提出了一種更深的級聯peak-piloted的弱表情識別方法(DCPN)，增強了特征的辨別力，同時采用級聯微調的方法避免過擬合；Jung等人提出了基于兩種不同模型的聯合微調網絡(DTAGN)，其中一個深度網絡從視頻序列中提取時間變化特征，另一個網絡從單幀圖像面部關鍵點提取幾何形態變化特征，從而提高了視頻序列的人臉表情識別的精度。

目前，常用于視頻序列非約束表情識別的方法是結合CNN和長短期記憶(longshort-term memory，LSTM)網絡對視頻中人臉表情的時空變化進行建模。為了獲得較好的識別結果，一般需用深層CNN網絡提取空間信息，用多層LSTM網絡級聯獲取時間信息。這會導致，一方面增加了網絡的計算開銷，另一方面也會出現因網絡層數加深而造成的梯度消失問題。

綜上，雖然人臉表情識別已經取得了一定的成果，但仍存在一些不足：