[發明專利]一種基于rPPG的人臉活體檢測系統及方法

有效

• 申請號: 202310737596.2
• 申請日: 2023-06-21
• 公開（公告）號: CN116524612B
• 公開（公告）日: 2023-09-12
• 發明（設計）人: 隋雅茹;嵇曉強;孫運杰;饒治;郝顥;陶雪;馬艷蓉;曹國華;馬麗華
• 申請（專利權）人: 長春理工大學;長春市高斯視覺科技有限公司
• 主分類號: G06V40/40
• 分類號: G06V40/40;G06N3/0464;G06N3/048;G06N3/084;G06N20/10;G06V10/25;G06V10/44;G06V10/764;G06V10/82;G06V40/16;A61B5/1171;A61B5/00;A61B5/02
• 代理公司: 北京華際知識產權代理有限公司 11676
• 代理人: 李帥

1.一種基于rPPG的人臉活體檢測方法，其特征在于：所述方法包括：

S10：對普通攝像頭采集的人臉視頻進行預處理，獲取面部感興趣區域幀序列；

S20：基于S10中獲取的面部感興趣區域幀序列，結合時空卷積網絡模型對人體面部脈搏波信號進行預測；

所述S20包括：

S201：構建時空卷積網絡，時空卷積網絡結構包括：一層自適應平均池化、一層2D殘差卷積、五個時空卷積模塊和一層聚合，其中，自適應平均池化的通道數為3，2D殘差卷積的內核大小為1×1，通道數為16，單個時空卷積模塊包括(2+1)D卷積層、批標準化層和ReLU激活函數層，五個時空卷積模塊中對應的(2+1)D卷積層的通道數分別為32、32、64、64、64，(2+1)D卷積層的卷積核大小設置為1×1×T，聚合的通道數為1；

S202：對S201中構建的時空卷積網絡進行訓練，具體的訓練方法為：

a.?從各欺詐類型的活體檢測數據庫中隨機抽取若干樣本組成活體檢測數據集，活體檢測數據集包括標簽為真的活體檢測數據集和標簽為假的活體檢測數據集，并將活體檢測數據集和記錄PPG信號的rPPG數據庫進行預處理，將預處理后得到的感興趣區域幀序列輸入時空卷積網絡模型進行訓練，訓練后得到具有準確預測面部脈搏波信號能力的時空卷積網絡模型；

b.通過帶有PPG信號的rPPG數據庫和帶有標簽為真的活體檢測數據樣本，分別監督時空卷積網絡模型學習從真實人臉圖像中擬合PPG信號的能力；

c.根據b中的時空卷積網絡模型預測的rPPG信號以及a中活體檢測數據集和rPPG數據庫對應的真實標簽，對時空卷積網絡模型的總損失值進行計算，基于計算結果，對時空卷積網絡模型的參數進行優化，最終得到訓練后的時空卷積網絡模型，總損失值的具體計算公式為：

L=βL_r+(1-β)L₁；

其中，L表示時空卷積網絡模型的總損失值，β表示權重參數，L₁表示支持向量機預測分類的損失值，L_r表示rPPG回歸損失值；

L_r=1-Cov(S_ppg,S^f)/(σ_Sppgσ_Sf)；

其中，S_ppg表示rPPG數據庫中帶有的PPG信號，S^f表示根據真實人臉的感興趣區域序列預測的人體面部脈搏波信號，Cov(S_ppg,S^f)表示計算的rPPG數據庫中帶有的PPG信號與預測的人體面部脈搏波信號的協標準差，σ_Sppg表示rPPG數據庫中帶有的PPG信號的標準差，σ_Sf表示預測的人體面部脈搏波信號的標準差；

S203：將S102中獲取的面部感興趣區域幀序列輸入最終訓練后的時空卷積網絡模型中，對人體面部脈搏波信號進行預測；

S30：對S20中預測的人體面部脈搏波信號進行頻域轉換并提取多尺度長期頻譜統計特征；

S40：基于S30中提取的多尺度長期頻譜統計特征，通過支持向量機模型分辨目標人物的真偽。

2.根據權利要求1所述的一種基于rPPG的人臉活體檢測方法，其特征在于：所述S10包括：

S101：使用多任務卷積神經網絡對RGB視頻進行處理，在處理過程中，對RGB視頻中的人臉進行檢測，根據檢測結果獲取人臉幀序列；

S102：采用人臉對齊網絡，對S101中獲取的人臉圖像中二維面部的68個特征點進行檢測，并選取人臉鼻子和左右臉頰作為感興趣區域，獲取感興趣區域幀序列。