[發明專利]一種基于運動單元的多域融合微表情檢測方法

有效

• 申請號: 202010410345.X
• 申請日: 2020-05-15
• 公開（公告）號: CN111582212B
• 公開（公告）日: 2023-04-18
• 發明（設計）人: 賁晛燁;李冰;李玉軍;魏文輝;王德強;徐鵬
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40
• 代理公司: 濟南金迪知識產權代理有限公司 37219
• 代理人: 許德山

本發明涉及一種基于運動單元的多域融合微表情檢測方法，包含：(1)對微表情視頻進行預處理，包括獲取視頻幀序列、人臉檢測與定位、人臉對齊；(2)對視頻幀序列進行運動單元檢測，獲取視頻幀序列的運動單元信息；(3)根據運動單元信息，通過半決策算法，找到包含微表情運動單元信息量ME最多的一個面部運動單元子塊作為微表情檢測區域，同時，通過設置動態閾值，提取微表情運動單元信息量ME的若干峰值幀作為微表情檢測的參考高潮幀；(4)通過多域融合的微表情檢測方法實現微表情的檢測。本發明減少了冗余信息對微表情檢測的影響，減少計算量，使微表情檢測更具有綜合判別力。計算速度快，微表情檢測精度高。

技術領域

本發明涉及一種基于運動單元的多域融合微表情檢測方法，屬于模式識別技術領域。

背景技術

面部表情作為一種典型的非語言交流形式，在人類情感分析中發揮著重要的作用，在各個領域都得到了廣泛的研究。其中，人們在一些情況下隱藏或抑制真實的面部表情，微表情會隨之產生。微表情典型持續時間為0.065到0.5秒，是一種無意識的、快速的、局部的面部表情，并不像宏表情那樣可以被人的思維刻意控制，通常可以揭示人想要隱藏的真實情感。微表情研究在犯罪檢測、商業談判等在各領域有著極大的應用價值和廣闊的發展前景。

微表情檢測的實質是在一段視頻序列中，對其中的微表情起始幀到結束幀進行劃分。其中，起始幀是微表情從中性表情開始發生變化的首幀，結束幀是微表情的最后一幀。在現實生活中，由于微表情強度低、持續時間短的特點，很難被肉眼識別，只有經過專門訓練過的心理專家才能檢測出微表情。但是，通過人工方式檢測微表情，一方面準確率依然不高，另一方面耗時過長。隨著計算機視覺和模式識別技術的飛速發展，基于計算機技術的微表情檢測成為了重要研究課題。

近年來，微表情檢測技術取得了很多成果。現有的微表情檢測方法主要分為兩類:光流特征方法和特征描述方法。

對于基于光流特征的方法，Shreve等人提出了一種兩步法，利用光應變模式從人臉視頻中分割時間表達式，計算人臉應變圖和應變大小。設置應變幅值的全局閾值來區分宏、微表情。該方法在光照變化的條件下具有一定的穩定性。為了獲得更好的表現，Shreve等人使用穩健的時空應變特征，消除頭部運動和濃妝影響。Patel等人通過整合局部時空區域內的局部光流矢量定位起始和偏移幀，推進微表情區間定位的研究，利用運動特征和方向連續性進行自發微表情檢測。

對于基于特征描述符的方法，Polikovsky等人提出了一種帶有高速攝像機的3D梯度描述符。他們進一步介紹了一個新的實驗裝置，以更好地估計準確的位置和臉的方向。Moilanen等人使用局部二值模式(LBP)作為特征描述符，計算序列幀的卡方距離，同時提供面部運動的時空信息。Davison等人使用方向梯度直方圖(HOG)作為特征描述符。此外，Yan等人提出了利用約束局部模型(CLM)和LBP特征對面部運動進行量化的初步研究，用于人臉檢測和提取紋理信息。在他們的工作中，CLM是從常用的主動外觀模型和主動形狀模型中衍生出來的，并且可以通過LBP特征來定位峰值幀。在此基礎上，Liong等人引入了一種二分搜索策略來更準確地定位峰值幀。

但是，這些方法依然存在一些缺點：往往僅考慮了面部圖像中像素點的動態特征(比如光流特征)或僅考慮了紋理特征(比如LBP、HOG特征等)，但是這兩種方式均存在局限性；特征運算復雜，計算速度相對較慢；微表情檢測效果一般。

發明內容

針對現有技術的不足，本發明提出了一種基于運動單元的多域融合微表情檢測方法。

發明概述：