[發明專利]一種基于面部表情單元和眼動的雙模態活體檢測方法

在審

• 申請號: 202011383704.3
• 申請日: 2020-12-01
• 公開（公告）號: CN112381050A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 張帥;謝巍盛;張校;徐小龍;方徐偉
• 申請（專利權）人: 天翼電子商務有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種基于面部表情單元和眼動的雙模態活體檢測方法，包括以下步驟：通過攝像頭從連續視頻流中搜索每幀圖片，檢測人臉圖像的存在，若存在人臉，截取若干幀含有人臉的圖片，并定位人臉區域；根據人臉以及人臉關鍵點標注數據，利用dlib訓練人臉以及人臉68個關鍵點的識別模型；當用戶正對攝像頭進行人臉識別時，該模型可以從連續若干幀中提取人臉部分；計算兩眼連線與水平線的夾角，然后通過角度得到對應的旋轉矩陣，對圖片進行相應的變換，完成人臉對齊。本發明提出了一種基于人臉面部表情單元以及眼動信息的活體檢測方法，結合了雙模態信息，相比于傳統靜默式活體檢測方法，魯棒性更好，有效避免了假冒者通過照片或者模型進行欺詐。

技術領域

本發明涉及計算機視覺領域，特別涉及一種基于面部表情單元和眼動的雙模態活體檢測方法。

背景技術

人臉識別作為當今最流行的人工智能技術已經在眾多領域廣泛落地，例如刷臉乘車，刷臉簽到，刷臉支付等。這項技術在帶來很多便利的同時，也存在著很多隱患。日常生活中人臉肖像很容易遭到泄露，人臉識別很容易通過照片人臉，視頻人臉片段，或者3D打印的人臉面具進行破解。為了擁有魯棒性更高，更加實用的人臉檢測系統，需要設計能夠抵御偽造人臉威脅的活體檢測系統。常規的活體檢測方法有如下幾個缺點1)需要用戶根據指令做出一些動作，例如眨眼，張嘴，搖頭等，來判斷用戶是不是一個真實的人。這種方法在用戶體驗方面不是很好，容易使用戶產生厭煩的情緒。2)計算代價高且需要額外的設備，例如采用3D深度信息或者光流法去追蹤人臉面部表情變化。

發明內容

本發明要解決的技術問題是克服現有技術的缺陷，提供一種基于面部表情單元和眼動的雙模態活體檢測方法，無需引入額外的設備，只需用戶正對攝像頭幾秒鐘，通過比較連續幀圖片之間面部表情單元的變化，追蹤眼球動態，無需按照指令做出任何動作，即可高效地完成活體檢測，用戶體驗友好。

為了解決上述技術問題，本發明提供了如下的技術方案：

本發明一種基于面部表情單元和眼動的雙模態活體檢測方法，包括以下步驟：

S1.通過攝像頭從連續視頻流中搜索每幀圖片，檢測人臉圖像的存在，若存在人臉，截取若干幀含有人臉的圖片，并定位人臉區域；

S11.根據人臉以及人臉關鍵點標注數據，利用dlib訓練人臉以及人臉68個關鍵點的識別模型；當用戶正對攝像頭進行人臉識別時，該模型可以從連續若干幀中提取人臉部分；計算兩眼連線與水平線的夾角，然后通過角度得到對應的旋轉矩陣，對圖片進行相應的變換，完成人臉對齊；

S2.從獲取的人臉圖像中提取面部表情單元以及眼動信息，分別表征為面部表情特征向量以及眼動特征向量；

S21.從人臉圖像提取面部表情單元特征向量的具體步驟為：

(1)按照步驟S1識別出來的人臉特征點為中心選取16*16鄰域作為特征窗口，對每一個16*16的patch的每一個像素點進行LBP運算；

LBP的運算流程如下：

(1)將檢測窗口劃分成n*n的patch；

(2)對與每個patch中的每個像素，比較與其相鄰的8個像素；

(3)如果中心像素的值比相鄰像素的值大，則數值置為0，否則置為1，這樣就構造了一個8位的二進制編碼，例10101000，換算成10進制編碼為176，則該中心像素的LBP值為176；

(2)對每一個patch的LBP值進行取平均值操作，如果連續幀內LBP的變化值超過了閾值，則認為有顯著表情變化，進而判斷用戶為真人；

S22.從眼動信息中提取眼動特征向量的具體步驟為：