[發明專利]基于融合特征和字典學習的人臉表示攻擊檢測方法及系統

有效

• 申請號: 202010696193.4
• 申請日: 2020-07-20
• 公開（公告）號: CN111967331B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 傅予力;黃漢業;向友君;許曉燕;呂玲玲
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/77;G06V10/774;G06V40/40;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于融合特征和字典學習的人臉表示攻擊檢測方法及系統，該方法步驟包括：根據人臉圖像二次成像的失真來源提取完整人臉圖像的圖像質量特征；構建深度卷積網絡模型，通過深度卷積網絡提取人臉圖像塊的深度網絡特征；將兩種特征級聯通過PCA生成最終的融合特征；利用融合特征初始化字典原子，訓練基于低秩共享字典的字典學習分類器；基于融合特征重構殘差的大小判斷測試樣本的類別。本發明首次結合圖像質量特征和深度網絡特征進行人臉表示攻擊檢測，更好地利用了單幀圖像提供的信息，有效增強了提取特征的判別能力；首次通過低秩共享字典剝離出真偽樣本的相同模式，不僅成功提高了攻擊檢測的準確率，而且具有良好的泛化性。

技術領域

本發明涉及圖像處理技術領域，具體涉及一種基于融合特征和字典學習的人臉表示攻擊檢測方法及系統。

背景技術

如今，人臉識別技術被廣泛應用在安防、支付、娛樂設施等場景中。然而，人臉識別系統存在一定的安全隱患。隨著社交網絡的發展和智能手機的普及，越來越多人在網絡上分享個人的照片、視頻，不法分子可以通過利用這些媒介偽裝成其他人或者故意混淆個人身份來攻擊人臉識別系統，達到侵犯他人財產安全、逃脫法律制裁等目的。企圖用合法用戶的照片、視頻等手段以借用該用戶身份通過人臉識別系統的操作，被稱為人臉表示攻擊，檢測這類攻擊的方法，稱為人臉活體檢測。

在人臉活體檢測中，人臉圖像可分為兩類，一類是直接對合法用戶本人進行拍攝得到的圖像。另一類圖像的拍攝對象可能是合法用戶的照片、視頻和蠟像等跟合法用戶臉部相似度高的對象。這類圖像被稱為人臉表示攻擊圖像(簡稱攻擊人臉)，是活體檢測技術要檢測的對象。

人臉活體檢測算法的核心在于提取人臉圖像中對檢測活體最有判別力的特征，傳統的檢測技術基于手工設計的特征，例如LBP(局部二值模式)、LPQ(局部相位量化)，隨著設備成像質量的不斷改善，人工設計能夠檢測攻擊人臉的特征變得非常困難。近年來，采用卷積神經網絡自動提取特征成為主流。深度卷積神經網絡在圖像分類任務上表現出色，但受限于活體檢測數據集的規模，僅通過類別標簽監督的深度網絡傾向于記憶存在于訓練集中的任意特征，容易導致過擬合，算法泛化性差。

發明內容

為了克服現有技術存在的缺陷與不足，本發明提供一種基于融合特征和字典學習的人臉表示攻擊檢測方法，通過融合人工設計的圖像質量特征和深度網絡特征，充分利用了單幀圖像提供的信息，有效增強特征的識別能力，并采用了基于低秩共享字典的字典學習方法實現真偽樣本的分類，共享字典能夠剝離出真偽樣本的共性，從而提高攻擊檢測的準確率。

為了達到上述目的，本發明采用以下技術方案：

本發明提供一種基于融合特征和字典學習的人臉表示攻擊檢測方法，包括下述步驟：

對輸入視頻進行人臉檢測和裁剪，構建人臉圖像數據庫；

提取人臉圖像數據庫中的人臉圖像的融合特征，所述融合特征包括圖像質量特征和深度網絡特征；

根據人臉圖像二次成像的失真來源提取完整人臉圖像的圖像質量特征；

構建深度卷積網絡模型，通過深度卷積網絡提取人臉圖像塊的深度網絡特征；

根據圖像質量特征和深度網絡特征，將兩種特征分別標準化后級聯，級聯后的特征通過PCA進行降維，生成最終的融合特征；

基于融合特征初始化字典原子，訓練基于低秩共享字典的字典學習分類器；

基于融合特征重構殘差的大小判斷測試樣本的類別。

作為優選的技術方案，所述根據人臉圖像二次成像的失真來源提取完整人臉圖像的圖像質量特征，具體步驟包括：提取鏡面反射特征、提取模糊特征、提取色矩特征和提取色彩多樣性特征步驟，將提取得到的特征級聯，得到圖像質量特征。

作為優選的技術方案，所述通過深度卷積網絡提取人臉圖像塊的深度網絡特征，具體步驟包括：