[發明專利]基于對抗學習的角度魯棒的個性化人臉表情識別方法

有效

• 申請號: 202010136966.3
• 申請日: 2020-03-02
• 公開（公告）號: CN111382684B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 王上飛;王燦
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06N3/04
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉

本發明公開了一種基于對抗學習的角度魯棒的個性化人臉表情識別方法，其步驟包括：1、對包含具有N類人臉表情圖像的數據庫進行圖像預處理；2、構建基于對抗學習的特征解耦與領域自適應網絡模型；3、使用交替迭代優化的方式訓練構建的網絡模型；4、利用訓練好的模型對待測人臉圖像進行預測，實現人臉表情的分類識別。本發明能同時克服人臉表情識別中的角度和個體間差異對人臉表情識別效果造成的負影響，從而實現人臉表情的精準識別。

技術領域

本發明涉及計算機視覺技術領域，具體而言是一種基于對抗學習的角度魯棒的個性化人臉表情識別方法。

背景技術

人臉表情識別是計算機視覺領域中的一個重要研究課題，在人機交互、疲勞檢測、犯罪偵察以及醫學治療中有著廣泛的應用。目前的人臉表情識別方法多假定面部圖像為正臉，而在實際應用場景中用戶的相對位置是不固定的，場景是多變的，只有多角度條件的人臉表情識別才能滿足實際的需求。因此，近年來科研人員也提出了一些方法應對角度對人臉表情識別的影響。根據如何處理角度變化，這些方法可以分為三類：特定視角分類器方法、單一分類器方法和角度歸一化方法。特定視角分類器方法比較直觀，即對于不同角度的樣本，分別訓練對應的分類器，然而受限于有限的訓練樣本，無法針對每種角度都學得性能魯棒的分類器。單一分類器方法試圖通過大量的樣本學得更為魯棒的分類器，且得益于生成對抗網絡和變分自編碼器的應用，可以通過樣本生成，給分類器的學習帶來更豐富、多樣化的訓練樣本。然而高質量樣本的生成本身就是一個難以保證的過程，生成的低質量的樣本反而會給分類器的學習帶來噪聲，影響分類器的性能。角度歸一化方法是將任意角度的面部樣本或特征表示映射為正臉的面部樣本或特征表示，在轉換時保持個體的一致性和表情內容的不變性。然而該方法依賴于成對的訓練樣本，即對于某個體的一張非正臉樣本需要存在著該個體的一張對應的正臉樣本，這嚴重制約了該方法在實際中的使用。

除了角度之外，個體間差異也是影響人臉表情識別效果的重要因素。不同的個體由于臉型、性格、容貌等差異，導致對于同一表情，面部表現的差異卻很大，會嚴重影響表情識別的效果。比如對于“笑”，有些人傾向于咧開嘴大笑，有些人傾向于抿著嘴微笑，盡管都屬于“高興”這種表情，但是兩者在像素級別的表現卻不同，從而給特征的學習帶來了困難。此外，個體間的容貌千差萬別，也給表情分析帶來了挑戰。個體魯棒的人臉表情識別可以通過基于特定個體的方法，即個體性化的人臉表情識別方法來解決。基于特定個體的方法旨在對特定的個體建立特定的分類器，從而使得學得的分類器只專注于單一個體，避免了其它個體對分類器的學習帶來的偏差。然而受限于單一個體的樣本量，很難學到性能較好的人臉表情分類器。

發明內容

本發明為克服現有技術的不足之處，提出一種基于對抗學習的角度魯棒的個性化人臉表情識別方法，以期能同時克服人臉表情識別中的角度和個體間差異的影響，從而提高人臉表情識別的識別率。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于對抗學習的角度魯棒的個性化人臉表情識別方法的特點是按如下步驟進行：

步驟1、對包含具有N類人臉表情圖像的數據庫進行圖像預處理：

使用MTCNN神經網絡算法對數據庫中所有人臉表情圖像進行人臉檢測與矯正，從而得到歸一化后的人臉圖像數據集，并作為樣本集；

以所述數據庫中的個體為劃分基準，將所述樣本集進行隨機劃分，得到源域數據集S和目標域數據集T；令源域數據集S中的任意一個樣本為x_s，源域中任意一個樣本x_s的表情標注為y_s，源域中任意一個樣本x_s的角度標注為p_s；令目標域數據集T中的任意一個樣本為x_t；