[發明專利]一種基于光流疊加的微表情檢測方法

有效

• 申請號: 202010445486.5
• 申請日: 2020-05-24
• 公開（公告）號: CN111626179B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 王甦菁;賀穎;謝海永
• 申請（專利權）人: 中國科學院心理研究所;中國電子科技集團公司電子科學研究院
• 主分類號: G06V40/16
• 分類號: G06V40/16
• 代理公司: 北京東方芊悅知識產權代理事務所(普通合伙) 11591
• 代理人: 彭秀麗

1.一種基于光流疊加的微表情檢測方法，其特征在于，所述方法包括如下步驟：

步驟1，對視頻樣本圖片進行預處理，得到視頻中每幀圖片的人臉定位區域；

步驟2，建立一個包含當前檢測幀F_i、長度為2k?的滑動窗口[F_i－k，F_i＋k]，在待檢測視頻中，沿時間軸方向按步長1幀移動，其中i=k＋1，k＋2，…，n－k，n為視頻中總幀數；

步驟3，在滑動窗口中，計算幀F_i－k到幀F_i之間的稠密光流O_i、幀F_i－k到幀F_i－1之間的稠密光流O_i－1、幀F_i－k到幀F_i＋k－1之間的稠密光流O_i＋k－1及幀F_i－k到幀F_i＋k之間的稠密光流O_i＋k；

步驟4，將稠密光流O_i?和O_i－1進行光流疊加后得到疊加光流S_i，將稠密光流O_i＋k－1?和O_i＋k進行光流疊加后得到疊加光流S_i＋k；

步驟5，將步驟1中每幀圖片的人臉定位區域劃分為多個區塊，提取各區塊上疊加光流S_i的光流矢量，計算主方向上疊加光流S_i＋k與S_i的模值差值，得到滑動窗口中當前檢測幀F_i的各個區塊光流特征值；

步驟6，根據當前檢測幀F_i中各區塊的光流特征值，計算特征平均值d_i；

步驟7，沿視頻時間軸方向移動滑動窗口，根據各幀圖片的特征平均值d_i計算當前檢測幀F_i的相對差值r_i；

步驟8，根據所設定的閾值T，比較相對差值r_i和閾值T，找出所有大于閾值T的相對差值r_i所對應的幀圖片序號i，并輸出，得到屬于微表情的幀圖片；

所述步驟1中對視頻樣本圖片進行預處理的方法是：

步驟1.1，采用dlib檢測器檢測出視頻樣本中第一張圖片中的人臉68個關鍵點，并找出68個關鍵點中的位于最左、最右、最上和最下的四個關鍵點；

步驟1.2，標記出第19個關鍵點和第37個關鍵點的垂直距離d；

步驟1.3，構建一個矩形框，使得矩形框的左邊、右邊和下邊分別經過檢測出的最左、最右和最下的人臉關鍵點，矩形框的上邊位于所檢測出的最上人臉關鍵點之上的d距離處；

步驟1.4，再次采用dlib檢測器對構建的矩形框內部區域進行68個關鍵點檢測，找出位于最下的人臉關鍵點并與第一次檢測到的最下人臉關鍵點比較，找出兩關鍵點中靠上的一個，并將其作為新構建矩形框的下邊。

2.根據權利要求1所述的基于光流疊加的微表情檢測方法，其特征在于，還包括微表情的篩選步驟9，將步驟8中所得到的連續預測為微表情的幀圖片序號i合并起來形成微表情區間，再將持續時間0.2～0.55秒的區間篩選出來，作為檢測出的微表情區間。

3.根據權利要求1所述的基于光流疊加的微表情檢測方法，其特征在于，所述步驟5中，將每幀圖片的人臉定位區域按照6×6的區塊劃分方式，劃分成36個相等大小的方形區塊。

4.根據權利要求3所述的基于光流疊加的微表情檢測方法，其特征在于，所述步驟5中，提取各方形區塊上疊加光流S_i的光流矢量，計算主方向上疊加光流S_i+k與S_i的模值差值后，并將各方形區塊上的所得到的模值差值按照降序排列，計算排序后的前1/3個差值的平均值，即得到當前檢測幀F_i中各方形區塊的光流特征值。

5.根據權利要求4所述的基于光流疊加的微表情檢測方法，其特征在于，所述步驟6中，將所有方形區塊的光流特征值按降序排列，取前12個方形區塊的光流特征值，并取平均值后得到當前檢測幀F_i的特征平均值d_i?。