[發明專利]訓練跨域人臉表情識別模型、人臉表情識別的方法及系統

在審

• 申請號: 201911416564.2
• 申請日: 2019-12-31
• 公開（公告）號: CN113128287A
• 公開（公告）日: 2021-07-16
• 發明（設計）人: 謝圓;蒲韜;陳添水
• 申請（專利權）人: 暗物智能科技(廣州)有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 李紅團

本發明公開了一種訓練跨域人臉表情識別模型、人臉表情識別的方法及系統，其中訓練方法包括：首先構建人臉全局?局部特征圖，利用源域的表情標簽及特征圖對特征提取器及分類器進行預訓練；基于源域和目標域的圖像及源域表情標簽利用預設目標函數約束，將預訓練好的特征提取器與判別器進行對抗式遷移學習，預訓練好的分類器自適應微調，得到進行訓練好的特征提取器、分類器及判別器；將訓練好的特征提取器、分類器、判別器及人特征圖組成跨域人臉表情識別模型，該方法將圖傳播機制與對抗學習相集成，實現跨領域人臉表情識別的整體特征與局部特征的相適應，利用對抗式領域自適應圖表征以及人臉特征全局?局部圖提高跨場景人臉表情識別準確率。

技術領域

本發明涉及人臉表情領域，具體涉及一種訓練跨域人臉表情識別模型、人臉表情識別的方法及系統。

背景技術

人臉表情識別屬于計算機視覺中的一個方向，用于判斷人的情緒狀態，通常應用于人機交互或安保監控中。人們構建了許多人臉表情識別數據集(包括受控環境與非受控環境)，并在此基礎上提出了許多人臉表情識別算法，取得了不錯的成績。但是由于文化環境以及個體差異，人們對于人臉表情的理解并不完全統一，這使得各個數據集的標注數據存在偏差，導致大部分人臉表情識別算法無法很好的進行跨數據集/跨領域識別，從而導致大部分人臉表情識別算法在工業界落地時需要各個場景下的大量標注數據。有的跨場景/跨領域的人臉表情識別算法，引入領域遷移程度超參，對于不同目標域數據集需將該超參設置不同數值，需大量實驗進行探究，無法做到較好的通用設置，且僅使用人臉全局特征，并未考慮人臉局部特征以及人臉全局特征與局部特征間的關聯，識別效果不佳。

發明內容

因此，本發明提供的一種訓練跨域人臉表情識別模型、人臉表情識別的方法及系統，克服了現有技術中進行跨數據集/跨領域的人臉識別時效果差缺陷。

第一方面，本發明實施例提供一種訓練跨域人臉表情識別模型的方法，包括如下步驟：根據目標域和源域的人臉特征及目標域和源域特征的對應關系，構建人臉全局-局部特征圖；利用源域特征數據集的表情標簽及所述人臉全局-局部特征圖對特征提取器及分類器進行預訓練；基于源域和目標域的圖像及源域特征數據集的表情標簽利用預設目標函數約束，將預訓練好的特征提取器與引入的判別器進行對抗式遷移學習，同時所述預訓練好的分類器進行自適應微調，得到進行訓練好的特征提取器、分類器及判別器；將訓練好的特征提取器、分類器、判別器及人臉全局-局部特征圖組成跨域人臉表情識別模型。

在一實施例中，所述人臉特征全局-局部關聯圖G通過以下數學表達式進行表示：

G＝(V,A)，

其中，V＝{v^s_h,v^s_le,v^s_re,v^s_no,v^s_lm,,v^s_rm,v^t_h,v^t_le,v^t_re,v^t_no,v^t_lm,,v^t_rm}，