[發明專利]一種基于深度學習的人臉序列表情識別方法

有效

• 申請號: 201810587517.3
• 申請日: 2018-06-06
• 公開（公告）號: CN108921042B
• 公開（公告）日: 2019-08-23
• 發明（設計）人: 卿粼波;周文俊;吳曉紅;何小海;熊文詩;滕奇志;熊淑華
• 申請（專利權）人: 四川大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明提供了一種基于深度學習的人臉序列的表情分析方法,主要涉及利用多尺度人臉表情識別網絡對人臉序列表情進行分類。該方法包括：構建多尺度人臉表情識別網絡(其中包括處理128×128，224×224，336×336等不同分辨率的三個通道)，并利用該網絡并行提取不同分辨率的人臉序列中的特征，最后融合這三種特征，得到人臉序列表情的分類。本發明充分發揮深度學習的自我學習能力，避免了人工提取特征的局限性，使得本發明方法的適應能力更強。利用多流深度學習網絡的結構特征，并行訓練及預測，最后融合多個子網絡的分類結果，提高了準確率及工作效率。

技術領域

本發明涉及視頻分析領域中的人臉序列表情識別問題，尤其是涉及一種基于深度學習的多流神經網絡對人臉序列表情分類的視頻分析方法。

背景技術

人臉表情是人類情感識別的重要特征之一。達爾文在《人與動物的情感表達》一書中介紹了這一領域作為研究領域。人臉表情識別是指從給定的靜態圖像或動態視頻序列中分離出特定的表情狀態，從而確定被識別對象的心理情緒。目前，人臉表情自動識別有著廣泛的應用，如數據驅動動畫、神經營銷、交互式游戲、社交機器人以及許多其他人機交互系統。

而人臉表情識別又可分為基于靜態圖片的表情識別和基于視頻序列的表情識別。視頻大量存在于現實生活之中，如無人機視頻監控，網絡共享視頻，3D視頻等。相比于靜態圖片中的人臉表情分析，通過對視頻中人臉表情進行分析將有助于動態的了解視頻中的人的情感及情緒的變化，有著廣闊的應用前景。比如疲勞駕駛，通過分析人表情的變化，人臉表情識別程序可分析出駕駛員是否處于疲勞狀態，以防止交通事故的發生。

傳統人臉表情識別方法中人工提取的特征維數過大，特征單一，計算復雜，且識別的效果直接與選取的特征有關。為避免人為因素對模型的影響，本文選擇深度學習模型進行人臉表情識別的研究。深度學習(Deep Learning)是一個近幾年備受關注的研究領域，在機器學習中起著重要的作用。深度學習通過建立、模擬人腦的分層結構來實現對外部輸入的數據進行從低級到高級的特征提取，從而能夠解釋外部數據。深度學習強調網絡結構的深度，通常有多個隱藏層，以用來突出特征學習的重要性。與人工規則構造特征的淺層結構相比，深度學習利用大量的數據來學習特征，更能夠描述數據特有的豐富的特征信息。我們還可以通過學習一種深層非線性網絡，實現復雜模型的逼近，表征輸入數據分布式表示。

發明內容

本發明的目的是提供一種視頻序列中人臉表情識別的方法，將深度學習與視頻人臉表情相結合，充分發揮深度學習自我學習的優勢，可以解決目前淺層學習的參數難以調整，需要人工選取特征，準確率不高等問題。

為了方便說明，首先引入如下概念：

人臉序列表情分類：對于視頻序列中個體的情緒進行分析，將每個個體劃分到正確的情緒類別之中。根據實際需求不同，可定義不同的人臉表情類別。

卷積神經網絡(CNN)：受視覺神經機制的啟發而設計的，是為識別二維形狀而設計的一種多層感知器，這種網絡結構對平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。

長短記憶型遞歸神經網絡(LSTM)：為了解決循環神經網絡在時間上的梯度消失問題，機器學習領域發展出了長短時記憶單元LSTM，通過門的開關實現時間上記憶功能，防止梯度消失。

長效遞歸卷積神經網絡(Long-term Recurrent Convolutional Networks,LRCN)^[1]：結合了CNN與LSTM單元，首先，以視頻單幀圖像作為CNN的輸入，實現對圖像的空間信息建模，然后以視頻連續幀作為LSTM的輸入，實現對象的時序特征提取。

VGG-Face+LSTM：采用LRCN網絡結構，其中CNN單元采用VGG-Face網絡結構。

多尺度人臉序列表情識別網絡：通過多個并行的子神經網絡提取人臉序列不同分辨率的特征，然后將多個子神經網絡進行加權融合形成多流神經網絡。