[發明專利]一種基于光流與風車模式特征融合的微表情檢測方法

有效

• 申請號: 202010102814.1
• 申請日: 2020-02-19
• 公開（公告）號: CN113361297B
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 賁晛燁;孫靜;李玉軍;李冰;徐鵬;任家暢
• 申請（專利權）人: 山東大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;G06T7/40;G06T7/62
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 王楠

本發明涉及一種基于光流與風車模式特征融合的微表情檢測方法，包括步驟如下：(1)對原始視頻進行預處理；(2)劃分面部感興趣區域；(3)計算光流特征的模值和角度，設置閾值，獲取每個感興趣區域的微表情起始幀和終止幀；(4)根據WP面部紋理特征，計算WP面部紋理特征的Chi?Squared(χ²)距離，設置閾值T，獲取每個感興趣區域的微表情起始幀和終止幀；(5)將光流特征與WP特征檢測進行結合，得到更全面、更有判決力的面部紋理以及運動信息，選擇更為接近人工編碼的微表情序列作為最終檢測的微表情序列。本發明能夠更加精確地定位微表情出現的位置，提高微表情檢測的效率，且可以減少計算量，降低時耗，是一種高魯棒性的微表情檢測方法。

技術領域

本發明涉及一種基于光流與風車模式特征融合的微表情檢測方法，屬于模式識別技術領域。

背景技術

人們在很多情況下擅長偽裝或抑制真實情感，在這種情況下容易產生微表情，其具有持續時間短、變化幅度弱、面部動作區域較少等特點。也正因為微表情包含著人們想要隱藏的“情感信號”，尤其是在人面臨高風險或者其他精神高度緊張的情形下，它更能體現人們的真實想法，被認為是理解人們真實情緒、識破謊言的重要線索，在測謊等方面微表情有著重要應用。

微表情檢測是指從一段原始圖像序列中確定微表情起始幀和結束幀的位置，對于研究中微表情庫的建立來說，精確有效的檢測出微表情顯得至關重要。當前微表情檢測主要通過人工來完成，方法為具備相關心理學知識的專業人員通過肉眼從一段視頻中發現微表情的起始幀、高潮幀和結束幀，并且確定面部肌肉運動單元和以及微表情所表達的情緒。然而，由于微表情持續時間短暫以及表情動作幅度小，往往只能依靠少部分受過專業訓練的人員進行檢測與識別，而且費時費力、容易遺漏，這極大地限制了微表情的研究及成果的應用，進而影響到微表情數據庫的建立。

近年來，在計算機視覺和模式識別領域對于微表情自動檢測技術取得了一些成果。2009年，Shreve等將人臉劃分為幾個主要區域，采用稠密光流法提取圖像特征值并使用中心插分法估計光流變化，通過與設定的閾值比較來檢測微表情，但是，該方法將人臉區域簡單的劃分為8塊，并且忽略了眼睛等很多重要的表情部位；同年，Polikovsky等采用3D梯度方向直方圖的方法在自己的微表情數據庫中檢測出微表情起始階段、峰值階段和結束階段的持續時間；2011年，Sherve等人利用光流法在自己建立的表情和微表情混合數據庫上對兩種表情(宏表情和微表情)開展了檢測實驗，其中微表情的檢測準確率達到74％；隨后Wu等人采用提取圖像Gabor特征并由SVM分類訓練的方法捕捉微表情。2014年，Moilanen等提出利用LBP直方圖特征計算圖像序列的時空信息來檢測微表情；隨后Davison等用HPG特征代替LBP特征提取圖像序列特征后，設定了一個基線閾值通過對比來檢測微表情。但這些方法存在一些缺點：第一，忽視了微表情動態過程以及時長，第二，所檢測的微表情樣本過于理想，對于現實應用缺乏意義，第三，以上方法的微表情檢測效果一般，并未達到精準自動檢測。

發明內容

針對以上現有技術的不足，本發明提供了一種基于光流與風車模式特征融合的微表情檢測方法。

發明概述：

本發明涉及一種基于光流與風車模式特征融合的微表情檢測方法，包括：首先，對含有微表情的原始視頻進行預處理得到視頻幀序列，進而采用Openface自動提取每個視頻中性幀(這里選取第一幀)的68個人臉面部關鍵點，得到每個點的坐標，并根據不同微表情的面部肌肉運動劃分感興趣區域，強調了眼睛、眉毛、鼻子和嘴巴等重要部位；其次，提出一種新的面部紋理特征——風車模式(WP)特征，獲取每個視頻幀序列中每一幀的四個感興趣區域的WP特征，并且獲取每個感興趣區域的光流特征，最后，對于兩種特征進行結合地完成微表情檢測。

本發明基于光流與風車模式特征融合的微表情檢測方法能夠將面部紋理信息與面部動態信息結合實現微表情檢測，更加精確地定位微表情出現的位置，提高微表情檢測的效率，且本發明僅對人臉面部感興趣區域進行特征計算，這樣可以減少計算量，降低時耗，是一種高魯棒性的微表情檢測方法。