[發明專利]一種基于復雜度感知分類算法的面部表情識別方法

在審

• 申請號: 201810417769.1
• 申請日: 2018-05-04
• 公開（公告）號: CN108776774A
• 公開（公告）日: 2018-11-09
• 發明（設計）人: 文貴華;常天元
• 申請（專利權）人: 華南理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于復雜度感知分類算法的面部表情識別方法，首先設計基于改進殘差塊的深度卷積神經網絡對預處理后的訓練數據集進行訓練，提取出人臉面部特征；再根據復雜度感知分類算法評估人臉面部特征的復雜度，將訓練數據集劃分為容易樣本集和困難樣本集，針對這兩類子樣本集分別進行訓練得到容易樣本分類器和困難樣本分類器；并分別針對這兩類子樣本集訓練一個二分類的樣本復雜度鑒別分類器；對測試數據集進行預處理和人臉面部特征提取后，通過樣本復雜度鑒別分類器對測試數據集提取的人臉面部特征進行復雜度鑒別，根據人臉面部特征的復雜度將測試數據集分別輸入容易樣本分類器和困難樣本分類器完成人臉表情類別的識別。

技術領域

本發明涉及計算機應用中的圖像識別領域，具體涉及一種基于復雜度感知分類算法的面部表情識別方法。

背景技術

面部微表情識別在人機交互和情感計算領域具有極其廣泛的研究前景，包括測謊、智能安防、娛樂、互聯網教育和智慧醫療等。面部表情常被人類作為表達情緒的一種主要方式，因此表情識別的主要工作是如何自動、可靠、高效地識別人臉表情傳達的信息。在表情識別的研究中定義了7種基本的表情類別：驚訝、害怕、厭惡、生氣、高興、傷心、平和，這7種類別通常被作為表情識別的基礎標簽。大部分面部表情識別工作主要著眼于特征提取和表情識別這兩部分。表情識別方法可以分成靜態和動態，其中靜態分類適用于靜態圖像，使用的技術主要有SVM、Bayesian network classifiers、Radom forests和Softmax。動態分類適用于面部視頻，考慮了隨著時間推移從每幀獨立提取的特征作為分類的依據，使用的模型主要有HMM和VSL-CRF。

近幾年不同傳統機器學習的方法被用于表情識別的研究中來提取圖像的外觀特征，其中包括Gabor filters、Local binary pattern(LBP)、Local gabor binary pattern(LGBP)、Histograms of oriented Gradients(HOG)和Scale invariant featuretransform(SIFT)。這些傳統的方法提取的特征應用在特定的小樣本集中往往比較有效，但是很難進行調整識別新的測試人臉圖像。這是由于提取到的特征往往屬于低層次的特征，從數據中難以提取和組織對類別劃分有區分性的信息。這些不足對于面部表情識別在實際應用中有很大的挑戰。

Convolutional Neural Network(CNN)和Deep belief network(DBN)作為深度學習的兩種框架在面部表情識別取得了顯著的成果，同時已經被用來做特征提取和識別工作。越來越多不同的CNN結構應用在面部表情識別和圖像分類問題中，比如：VGG-Net、GoogLeNet、Inception layer、ResNet、DenseNet等。通過CNN中的多個卷積和池化層可能提取到整個面部或者局部區域的更高級多層次的特征，作為面部表情圖像辨別特征有不錯的分類性能。相比于CNN，DBN通過多層受限玻爾茲曼機(RBM)網絡形成分層學習結構，實現了從細粒度到粗粒度的多層次特征學習。利用DBN的模型生成能力可以顯著提高有像素缺失或遮擋的人臉面部表情識別的性能。

目前面部表情識別工作仍具有很大的挑戰，許多相關研究和工作著重于分類模型和特征提取方法的改進，往往很容易忽視面部表情7個基本類別之間的聯系和數據集中樣本間的關系。一些表情比如：Happy和Surprise屬于辨識度很高的類別，很容易通過特征將它們區分開，而有一些表情比如：Fear和Sad，有些環境下是非常相似很難將它們有效的區分開。即由于很難去確切地劃分每個表情特征空間，不同的表情類別中的某些樣本的面部特征在特征空間中可能非常接近，而屬于同一個表情中的某些樣本的面部特征在特征空間可能離得比較遠。另外在不受控的環境中，人臉很容易受到種族、年齡、性別、頭發、周圍環境等因素的影響，導致每個樣本提取到用于表情分類的面部特征分布和特征復雜性是不同的。

發明內容