[發明專利]一種自發微表情識別方法

有效

• 申請號: 202011559343.3
• 申請日: 2020-12-25
• 公開（公告）號: CN112580555B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 陳恩紅;徐童;趙思蕊;冷文昊;李弘毅
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

本發明公開了一種自發微表情識別方法，通過將微表情的特征學習過程分解成先驗學習和目標學習兩個階段，并設計與之對應的孿生三維卷積神經網絡模型，可以充分的讓網絡模型在小樣本的微表情數據集上得到充分的訓練，從而大幅度的提高深度模型的泛化能力，并最終提升網絡模型的識別效果。

技術領域

本發明涉及自發微表情識別領域，尤其涉及一種自發微表情識別方法。

背景技術

微表情是一種自發地、不受個體意識所控制的面部微弱反應，其往往發生在有壓力的或者高風險的環境下，伴隨著個體嘗試壓制或者隱藏其真實情感時產生。與常規表情不同，微表情運動強度極弱、持續時間極短(低于500ms)，不易被察覺，但微表情不可偽造，是人心理情感變化在面部的真實反應，所以微表情識別可用于非接觸無感知的欺騙檢測和情感分析，在司法審訊、抑郁癥治療、商業洽談、國家安全等方面都有廣泛的應用。

早期的微表情識別分析主要在心理學領域展開，通常依靠繁雜的人工分析以及通過一些專業的培訓工具來訓練人來識別微表情，這種依靠人力的方法不僅受限于專業培訓和時間成本，而且識別準確率很低，據相關文獻報到只有47％的識別準確率。因此利用機器進行自動微表情分析越來越成為主流，近年來，在計算機視覺和情感計算領域，也出現了許多的基于傳統機器學習以及先進深度學習的微表情識別工作。

基于傳統機器學習的微表情識別方法主要包括兩步：首先設計特定的視覺特征描述算子提取微表情特征，如LBP-TOP，3DHOG等，然后利用各種分類器，包括：SVM，隨機樹森林等進行分類識別。這類方法最大的問題就是需要依賴先驗知識和啟發式的特征工程，從而限定了其使用場景。

相比于基于傳統機器學習的微表情識別方法，利用深度學習進行微表情識別最大的優勢就是充分整合了微表情特征提取和分類識別過程，并且能提取更高層次的微表情特征，目前研究者們也提出了各種基于卷積神經網絡的微表情識別模型，在識別性能上也取得了一定的突破，然而，深度學習方法是一種數據驅動型的方法，往往需要依賴大規模的數據樣本進行訓練，在現有的小規模微表情數據集上表現也不如人意，往往面臨嚴重的過擬合問題，此外更糟的是，現有微表情數據存在嚴重的類樣本不均衡問題，這也讓深度神經網絡模型更難訓練，所以利用深度學習進行微表情識別仍然具有很大的挑戰。

發明內容

本發明的目的是提供一種自發微表情識別方法，能夠有效的提升自發微表情識別的準確率。

本發明的目的是通過以下技術方案實現的：

一種自發微表情識別方法，包括：

構建孿生三維卷積神經網絡，對其進行兩階段的訓練：第一階段訓練為先驗學習階段，孿生三維卷積神經網絡的輸入為預處理后的原始數據集通過類別標簽異同劃分得到的若干微表情樣本對，通過孿生三維卷積神經網絡來判斷微表情樣本對是否為同類的微表情，從而反向更新孿生三維卷積神經網絡的參數；第二階段訓練為目標學習階段，孿生三維卷積神經網絡的輸入為預處理后的原始數據集，通過第一階段訓練后的孿生三維卷積神經網絡對輸入微表情樣本進行分類，固定孿生三維卷積神經網絡前端特征提取層中靠前的若干卷積單元的參數，更新特征提取層其余卷積單元以及末端推理層的參數；其中，預處理后的原始數據集中的每一微表情樣本均為用于描述自發微表情的光流圖像幀序列；

之后，通過訓練得到的孿生三維卷積神經網絡對待識別的微表情樣本進行分類。

由上述本發明提供的技術方案可以看出，通過將微表情的特征學習過程分解成先驗學習和目標學習兩個階段，并設計與之對應的孿生三維卷積神經網絡模型，可以充分的讓網絡模型在小樣本的微表情數據集上得到充分的訓練，從而大幅度的提高深度模型的泛化能力，并最終提升網絡模型的識別效果。

附圖說明