[發明專利]基于自適應去除過渡幀深度網絡的微表情檢測方法

有效

• 申請號: 202010092959.8
• 申請日: 2020-02-14
• 公開（公告）號: CN111325131B
• 公開（公告）日: 2023-06-23
• 發明（設計）人: 付曉峰;牛力;柳永翔;趙偉華;計忠平
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/774;G06V10/764;G06V10/82;G06N3/0464;G06N3/09
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

本發明公開了一種基于自適應去除過渡幀深度網絡的微表情檢測方法。本發明包括網絡構造、網絡訓練和微表情檢測，其中所述的網絡訓練中首先對原始視頻進行數據預處理；然后使用自適應去除過渡幀方法去除過渡幀；最后將去除了過渡幀的微表情幀和中性幀樣本輸入MesNet網絡進行訓練。本發明所構建的MesNet本質是一個二分類網絡，檢測微表情幀不依賴幀時序關系，因此MesNet不僅可以從微表情數據庫完整視頻中檢測微表情幀，也可以從給定的任意幀集合中檢測微表情幀，還可以判斷給定的單獨一幀是否為微表情幀。

技術領域

本發明屬于計算機圖像處理技術領域，涉及一種基于自適應去除過渡幀深度網絡的微表情檢測方法。

背景技術

與持續時間為0.5s～4s的傳統面部表情不同，持續時間為1/25s～1/5s的面部微表情是一種瞬時、無意識的反應，揭示人的真實情感。因其在情感監測、謊言檢測、臨床診斷、商業談判等各個領域中的潛在應用，在過去的十多年中，微表情識別已經引起研究人員越來越多的關注。

微表情具有誘導困難，數據難以采集，樣本規模較小，人眼難以識別等特殊性，最初的微表情識別主要是由心理學家等專業人士人工識別的，近年來計算機硬件的進步使得利用計算機視覺方法和機器學習方法自動識別微表情成為可能。

微表情識別包含微表情檢測和微表情種類判別兩個步驟。微表情檢測是微表情種類判別的前提，對于一段包含微表情的視頻，首先需檢測微表情分布于哪些幀，才能進一步判斷微表情屬于哪種類別。現有微表情檢測方法普遍存在的問題是微表情檢測精度較低或者適用范圍偏小。常用于微表情檢測的數據庫有CASME?II、SMIC-E-HS和CAS(ME)²，之前還沒有一種微表情檢測方法同時在三個數據庫上得到驗證。

發明內容

本發明針對現有技術的不足，提供了一種基于自適應去除過渡幀深度網絡的微表情檢測方法，該方法在微表情檢測應用上具有高精度和廣適用范圍特點。

本發明包括網絡構造、網絡訓練和使用訓練好的網絡檢測微表情。

所述的網絡構造具體是：

步驟S1：選取在ImageNet數據庫上預訓練好的CNN模型，保留卷積層及預訓練參數。

步驟S2：在上述CNN模型后添加全連接層。

步驟S3：在全連接層后添加輸出層和logistic分類器。

具體地，本發明使用Inception-ResNet-V2為基礎構造微表情檢測網絡，命名為MesNet(micro-expression?spotting?network)。

具體地，全連接層神經元數量為512。

具體地，MesNet網絡為微表情幀和中性幀二分類網絡，輸出層神經元數量為1。

所述的網絡訓練具體是：

步驟S1：對訓練集原始視頻進行數據預處理。

步驟S2：使用自適應去除過渡幀方法從訓練集去除過渡幀。

步驟S3：將去除了過渡幀的微表情幀和中性幀樣本輸入MesNet網絡進行訓練。

具體地，對原始視頻進行數據預處理包括人臉檢測、人臉對齊、微表情區域裁剪。

所述的自適應去除過渡幀方法具體是：

步驟S1：將訓練集分為自信樣本和待去除過渡幀樣本。

步驟S2：通過自信樣本訓練MesNet網絡，得到微表情幀、中性幀二分類模型。

步驟S3：用二分類模型預測待去除過渡幀樣本，得到每個樣本屬于正樣本微表情幀的概率。