[發明專利]一種無監督跨角度面部表情圖像識別方法

有效

• 申請號: 202010532746.2
• 申請日: 2020-06-12
• 公開（公告）號: CN111860151B
• 公開（公告）日: 2022-08-26
• 發明（設計）人: 孫寧;盧情義;李曉飛
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種無監督跨角度面部表情圖像識別方法，將由正臉表情圖像訓練得到的分類器遷移到側臉圖像域，實現側臉表情圖像的高精度識別。本方法是一種深度神經網絡，稱為無監督跨角度面部表情自適應網絡。該網絡使用兩個生成對抗網絡進行正臉圖像和側臉圖像的循環生成，這種機制建立了兩個對應的編碼?解碼對，完成由圖像到高層語義特征再到圖像的變換，從而得到表情圖像的高維特征。正臉圖像和側臉圖像在特征空間的分布差異要遠小于兩者在圖像空間的分布差異，本方法在兩者的特征空間進行半監督學習，完成由正臉圖像分類向側臉圖像的領域自適應。此外，本發明還使用了合成側臉圖像質量評估，域平均臉和乒乓螺旋上升訓練等技巧。

技術領域

本發明涉及圖像處理領域，涉及一種一種無監督跨角度面部表情圖像識別方法。

背景技術

在機器視覺研究中，領域漂移廣泛存在，而且一直是局限視頻分析算法從實驗室走向大規模商用的重要障礙。其主要是由兩方面因素導致：1)由于視頻來源，攝像機視角，目標姿態，光照環境等各方面條件差異，導致使用有限的訓練樣本無法覆蓋視頻中待處理對象所有狀態的數據分布。例如視頻分析中的多角度問題，目標再識別問題和對不同環境的泛化性問題等等。2)對圖像數據進行充分標注代價高昂，使得在當前海量的圖像數據中真正能用于有監督學習的數據只占極少部分，一旦源域和目標域中的數據分布差異較大，則效果大幅下降，與人類具備的那種“舉一反三”的能力相差甚遠。因此，研究計算機視覺中的領域適應問題，將從已有標簽信息的源域數據中學習所得的知識和模型遷移到只有少量標簽(半監督領域適應)或是無標簽(無監督領域適應)的目標域數據中去，在目標域獲取高性能的圖像分析效果，實現圖像分析算法對領域漂移現象的適應性和魯棒性，具有重要的理論意義和實踐價值。

目前主流的人臉表情識別技術都是基于特定角度的人臉提出的，這與現實生活攝像機采集到的人臉數據不符，無法對多角度多光照的人臉做出準確的表情判別，從而導致將人臉面部表情識別用于現實場景下有局限性。如何在只有正臉表情的情況下也能生成并識別出側臉表情，是目前人臉生成和識別的一個難題。

發明內容

發明目的：本發明的目的是提供一種無監督跨角度面部表情圖像識別方法，該方法通過高維特征圖像來優化生成和進行分類，從而無監督跨角度地識別的人臉表情圖像。

技術方案：本發明所述的一種無監督跨角度面部表情圖像識別方法，包括以下步驟：

步驟A，創建多角度的人臉表情庫，表情庫中包含的表情包括但不限于：生氣、輕蔑、厭惡、害怕、傷心、自然；攝像機拍攝角度包括但不限于為0°，45°，90°，135°，150°，180°；攝像機在不同的角度下采集對象的圖像，并將采集的90°的圖像作為正臉圖像，其他角度的圖像作為側臉圖像；之后對不同角度下采集到的人臉圖像進行校準，制作標簽，獲得多角度的人臉表情數據集；

步驟B，建立無監督跨角度面部表情自適應網絡UCFEAN，無監督跨角度面部表情自適應網絡UCFEAN包括兩個用于跨角度圖像生成的生成器G12、G21，兩個判別器，兩個用于在特征域進行半監督學習的分類器，學生網絡Cs和教師網絡Ct，以及一個合成圖像質量評估網絡Cq；

步驟C，對無監督跨角度面部表情自適應網絡UCFEAN進行訓練，訓練中的技巧包括乒乓逐級下降訓練策略和域平均臉以及合成圖像質量評估；

步驟D，測試時，將側臉表情圖像輸入到無監督跨角度面部表情自適應網絡UCFEAN中，便可以得到該圖像的表情分類結果。