[發明專利]一種基于正常表情輔助的微表情識別方法

有效

• 申請號: 202010143177.2
• 申請日: 2020-03-04
• 公開（公告）號: CN111368734B
• 公開（公告）日: 2022-09-06
• 發明（設計）人: 王上飛;夏斌;王偉康;陳恩紅
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 安徽省合肥新安專利代理有限責任公司 34101
• 代理人: 陸麗莉;何梅生

本發明公開了一種基于正常表情輔助的微表情識別方法，其步驟包括：1、對微表情視頻和正常表情視頻分別進行預處理，構建出微表情數據集和正常表情數據集；2、構建微表情身份解纏網絡，從微表情圖像中提取出微表情相關特征和身份相關特征；3、構建正常表情身份解纏網絡，從正常表情圖像中提取出正常表情相關特征和身份相關特征；4、將微表情身份解纏網絡和正常表情身份解纏網絡進行聯合訓練，利用三元組損失，對抗學習和不等式正則化損失對微表情身份解纏網絡進行微調，從而得到最優微表情身份解纏網絡。本發明能構建出適用于微表情識別的深度神經網絡，從而提高微表情識別的準確性和魯棒性。

技術領域

本發明涉及情感計算領域，具體的是一種基于正常表情輔助的微表情識別方法。

背景技術

微表情識別作為情感計算的一個分支，近些年得到了廣泛而又充分的研究和注意。現有的微表情識別方法可以按照所使用的特征類型分為兩類：基于手工制作特征的方法和基于深度特征的方法。梯度直方圖(HOG)，光流和三維正交平面局部二值特征(LBP-TOP)是最常用的手工制作特征。隨著深度學習的發展，越來越多的領域使用深度神經網絡來實現特征提取，在微表情領域，也有很多基于由深度神經網絡所提取的特征的方法。

然而無論是基于手工制作特征的方法還是基于深度特征的方法，其均存在著根本上無法解決的問題。對于基于手工制作特征的方法，因為其特征基本上只能描述微表情視頻或者圖像的紋理、時序等淺層特征，并不適合處理微表情識別此類復雜問題，利用這些淺層特征構建出的分類器準確性較差。對于基于深度神經網絡的方法，雖然理論上由神經網絡產生的特征足夠用于微表情的識別，但是其是建立在神經網絡訓練充分的前提下，而對于微表情識別此類復雜問題，神經網絡需要大量的訓練數據才能夠訓練充分，然而現有的微表情數據庫均只有幾十或上百段視頻，遠遠達不到使得對應的神經網絡訓練充分的條件，因此基于深度特征的微表情識別方法沒有很好的魯棒性。

發明內容

本發明是為了解決上述現有技術存在的不足之處，提出一種基于正常表情輔助的微表情識別方法，以期能構建出適用于微表情識別的深度神經網絡，從而提高微表情識別的準確性和魯棒性。

本發明為達到上述發明目的，采用如下技術方案：

本發明一種基于正常表情輔助的微表情識別方法的特點是按如下步驟進行：

步驟1、構建表情圖像數據集：

步驟1.1、從微表情視頻中提取出無表情變化的中性面部圖片和微表情面部圖片，并使用圖片翻轉、圖片裁剪以及圖片歸一化的方法進行預處理，從而得到微表情數據集D_{tr_1}，令I_{N_1}和I_{E_1}表示所述微表情數據集D_{tr_1}中任意同一個人的中性面部圖像和微表情圖像，y_{E_1}是微表情圖像I_{E_1}相應的微表情的標簽；

步驟1.2、從正常表情視頻中提取出中性面部圖片和正常表情面部圖片，并使用圖片翻轉、圖片裁剪以及圖片歸一化的方法進行預處理，從而得到正常表情數據集D_{N_2}，令I_{N_2}和I_{E_2}是表示所述正常表情數據集D_{N_2}中任意同一個人的中性面部圖像和正常表情圖像，y_{E_2}是正常表情圖像I_{E_2}相應的微表情的標簽；

步驟2、構建微表情身份解纏網絡F_{_1}，包括微表情編碼器E_{_1}，微表情解碼器D_{_1}和微表情分類器C_{_1}：

步驟2.1、構建所述編碼器E_{_1}，包含一個ResNet18結構與一個雙分支結構；

所述ResNet18結構由四個深度殘差塊組成；