[發明專利]一種基于深度學習的人臉表情識別方法

有效

• 申請號: 201310676648.6
• 申請日: 2013-12-11
• 公開（公告）號: CN103793718A
• 公開（公告）日: 2014-05-14
• 發明（設計）人: 張石清;趙小明
• 申請（專利權）人: 臺州學院;張石清;趙小明
• 主分類號: G06K9/66
• 分類號: G06K9/66;G06N3/08
• 代理公司: 杭州賽科專利代理事務所 33230
• 代理人: 曹紹文

技術領域

本發明涉及圖像處理、模式識別、人工智能領域，特別是涉及一種基于深度信念網絡的人臉表情識別方法。

背景技術

人臉表情識別是指從給定的表情圖像中分析檢測出特定的人臉表情狀態,從而確定出被識別對象的心理情緒，比如生氣、高興、悲傷、害怕等。該研究已被廣泛應用于人機交互、人工智能等方面，是當前模式識別和計算機視覺等領域的熱點課題。

對表情圖像進行特征提取是人臉表情識別中的關鍵問題，特征的有效性決定著人臉表情識別性能的高低。現有的人臉表情特征提取方法主要有幾何特征提取方法、外貌特征提取方法、特征點跟蹤法、彈性圖匹配法等。這些特征提取方法，計算都比較復雜，實際使用時一般都需要靠人工手動操作才能完成。此外，這種人工特征提取的方法容易導致部分表情特征表述信息的丟失，使得所取得的識別性能不太令人滿意，有待進一步提高。

再介紹深度學習技術。

深度學習（見文獻：Yu?D,Deng?L.Deep?learning?and?its?applications?to?signal?and?information?processing.IEEE?Signal?Processing?Magazine,2011,28(1):145-154）作為一種新的機器學習理論，其動機在于建立、模擬人腦進行分析學習的神經網絡，它模仿人腦的機制來解釋圖像、聲音和文本等數據。深度學習的本質是通過組合低層特征形成更加抽象的高層表示屬性特征，以發現數據的分布式特征表示。所以，深度學習也被稱為無監督特征學習。Hinton等人提出一種由多個受限玻爾茲曼機(RBM)疊加而成的深度信念網絡（DBN）的深度學習方法（見文獻：Hinton?GE,Osindero?S,Teh?Y-W.A?fast?learning?algorithm?for?deep?belief?nets.Neural?computation,2006,18(7):1527-1554），開啟了深度學習在學術界和工業界的新浪潮。當前，深度信念網絡（DBN）已成為一種代表性的深度學習技術，被廣泛應用于信號處理和計算機視覺等領域。

目前，在已有的人臉表情識別研究文獻中，對于采用深度學習用于人臉表情識別方面的相關報道甚少。本發明利用深度學習所具有的較強的無監督特征學習能力，提供一種基于深度學習的人臉表情識別方法。

發明內容

本發明的目的就是為了克服上述現有人臉表情識別技術的不足，提供一種基于深度學習的人臉表情識別方法，以便進一步提高人臉表情識別的性能。

本發明所采用的技術方案是：

一種基于深度學習的人臉表情識別方法，該方法包含以下技術步驟：

步驟1、從人臉表情數據庫中提取人臉表情圖像；

步驟2、對人臉表情圖像進行預處理；

步驟3、將預處理后的全部圖像分為訓練樣本和測試樣本兩部分；

步驟4、將訓練樣本用于深度信念網絡（DBN）的訓練；

步驟5、將深度信念網絡（DBN）的訓練結果用于多層感知器（MLP）的初始化；

步驟6、將測試樣本輸送到初始化后的多層感知器（MLP）進行識別測試，實現人臉表情識別結果的輸出。

其中，

（1）人臉表情圖像的預處理，包括：

對人臉表情數據庫中的每一幅表情圖像進行采樣，以便降低表情圖像的特征維數，并將表情圖像的每個像素值歸一化到方差為1和均值為0。

（2）深度信念網絡（DBN）的訓練，包括：

預訓練(pre-training)和調優(fine-tuning)兩個步驟。訓練過程中采用的圖像樣本來源于人臉表情數據庫中的訓練樣本。

（2-1）深度信念網絡（DBN）的預訓練(pre-training)，包括：

采用自下而上的無監督學習方式進行預訓練，即使用無標簽（unlabeled）的樣本數據，從底層開始，一層一層的往頂層進行訓練。

深度信念網絡（DBN）的預訓練具體過程如下：

由于RBM是一種能量模型，它的可視層和隱層之間關系可以用能量函數表示為