[發明專利]一種基于面部表情單元和眼動的雙模態活體檢測方法

在審

• 申請號: 202011383704.3
• 申請日: 2020-12-01
• 公開（公告）號: CN112381050A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 張帥;謝巍盛;張校;徐小龍;方徐偉
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于面部表情單元和眼動的雙模態活體檢測方法，其特征在于，包括以下步驟：

S1.通過攝像頭從連續視頻流中搜索每幀圖片，檢測人臉圖像的存在，若存在人臉，截取若干幀含有人臉的圖片，并定位人臉區域；

S11.根據人臉以及人臉關鍵點標注數據，利用dlib訓練人臉以及人臉68個關鍵點的識別模型；當用戶正對攝像頭進行人臉識別時，該模型可以從連續若干幀中提取人臉部分；計算兩眼連線與水平線的夾角，然后通過角度得到對應的旋轉矩陣，對圖片進行相應的變換，完成人臉對齊；

S2.從獲取的人臉圖像中提取面部表情單元以及眼動信息，分別表征為面部表情特征向量以及眼動特征向量；

S21.從人臉圖像提取面部表情單元特征向量的具體步驟為：

(1)按照步驟S1識別出來的人臉特征點為中心選取16*16鄰域作為特征窗口，對每一個16*16的patch的每一個像素點進行LBP運算；

LBP的運算流程如下：

(1)將檢測窗口劃分成n*n的patch；

(2)對與每個patch中的每個像素，比較與其相鄰的8個像素；

(3)如果中心像素的值比相鄰像素的值大，則數值置為0，否則置為1，這樣就構造了一個8位的二進制編碼，例10101000，換算成10進制編碼為176，則該中心像素的LBP值為176；

(2)對每一個patch的LBP值進行取平均值操作，如果連續幀內LBP的變化值超過了閾值，則認為有顯著表情變化，進而判斷用戶為真人；

S22.從眼動信息中提取眼動特征向量的具體步驟為：

(1)根據眼部的人臉特征點，獲取眼部的roi區域，對于眼部圖像而言，在越靠近眼球的區域灰度值越低，就會有更多的梯度方向集中于那個區域；通過計算眼部區域每個點的梯度，通過尋找梯度方向上直線相交最多的點，即可定位眼球位置；

(2)根據上一步定位眼球位置，采集的眼動信息；將采集到的眼動信息按照眼動時間、眼動方向、左右眼動距離、上下眼動距離，注視時間、注視次數、瞳孔直徑的大小和眨眼次數分類，得到八類眼動特征向量；

(3)根據眼動軌跡繪制眼球軌跡圖，并存儲眼球軌跡圖；通過分析瞳孔直徑變化，眼球軌跡圖分析用戶注意力的變化，進而判斷用戶是否為真人；

S3.對從步驟S2中提取的面部表情單元特征向量和眼動特征向量進行定性分析，獲取其在步驟S1截取的若干幀范圍內的表情變化；

S4.根據定性分析的結果確定多幀人臉面部表情單元強度的變化范圍和眼動變化范圍，若強度變化范圍(強度峰值-強度谷值)大于確定是否為真實的人臉。