[發明專利]基于融合特征和字典學習的人臉表示攻擊檢測方法及系統

有效

• 申請號: 202010696193.4
• 申請日: 2020-07-20
• 公開（公告）號: CN111967331B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 傅予力;黃漢業;向友君;許曉燕;呂玲玲
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/80;G06V10/77;G06V10/774;G06V40/40;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于融合特征和字典學習的人臉表示攻擊檢測方法，其特征在于，包括下述步驟：

對輸入視頻進行人臉檢測和裁剪，構建人臉圖像數據庫；

提取人臉圖像數據庫中的人臉圖像的融合特征，所述融合特征包括圖像質量特征和深度網絡特征；

根據人臉圖像二次成像的失真來源提取完整人臉圖像的圖像質量特征；

構建深度卷積網絡模型，通過深度卷積網絡提取人臉圖像塊的深度網絡特征；

根據圖像質量特征和深度網絡特征，將兩種特征分別標準化后級聯，級聯后的特征通過PCA進行降維，生成最終的融合特征；

基于融合特征初始化字典原子，訓練基于低秩共享字典的字典學習分類器；

所述基于融合特征初始化字典原子，訓練基于低秩共享字典的字典學習分類器，具體步驟包括：通過交替優化字典和稀疏系數最小化字典模型的代價函數，迭代優化設定的次數后保存字典；

所述字典模型的代價函數表示為：

其中，第一項為辨別保真項，第二項為基于Fisher準則的判別系數項，第三項為L1正則化項，第四項為核范數，辨別保真項用于實現字典的識別力；判別系數項用于增大類內相似度，減小類間相似度，L1正則化項用于實現系數X的稀疏；核范數用于約束共享字典張成的子空間大小，保證共享字典的低秩性，λ₁、λ₂和η用于權衡代價函數各項的比重，D₀表示共享字典；

判別保真項定義為：

其中，表示第c類的樣本，樣本為融合特征，m表示融合特征的維度，n_c表示第c類的樣本數，D表示總字典，D_c表示第c類的子字典，X_cⁱ表示第c類樣本在第i類字典上的系數；

判別系數項定義為：

其中，M_c表示第c類樣本的稀疏系數的平均值，M表示整個訓練集稀疏系數的平均值，M⁰表示共享字典上系數的平均值，的作用是強制所有訓練樣本在共享字典上的系數靠近平均值；

基于融合特征重構殘差的大小判斷測試樣本的類別。

2.根據權利要求1所述的基于融合特征和字典學習的人臉表示攻擊檢測方法，其特征在于，所述根據人臉圖像二次成像的失真來源提取完整人臉圖像的圖像質量特征，具體步驟包括：提取鏡面反射特征、提取模糊特征、提取色矩特征和提取色彩多樣性特征步驟，將提取得到的特征級聯，得到圖像質量特征。

3.根據權利要求1所述的基于融合特征和字典學習的人臉表示攻擊檢測方法，其特征在于，所述通過深度卷積網絡提取人臉圖像塊的深度網絡特征，具體步驟包括：

通過對完整人臉圖像進行隨機縮放和隨機裁剪生成所述的人臉圖像塊，構建輕量深度卷積網絡模型，以人臉圖像塊作為卷積網絡模型的輸入，采用Focal?Loss損失函數訓練卷積網絡模型提取人臉圖像塊的深度網絡特征，并采用標簽平滑方法將獨熱編碼標簽轉化成軟標簽，優化深度卷積神經網絡的訓練過程。

4.根據權利要求1所述的基于融合特征和字典學習的人臉表示攻擊檢測方法，其特征在于，還包括求解測試樣本的稀疏系數步驟，具體為：通過保存的字典構造兩個帶共享字典的類別字典，固定類別字典求解測試樣本的稀疏系數。

5.根據權利要求1所述的基于融合特征和字典學習的人臉表示攻擊檢測方法，其特征在于，所述基于融合特征重構殘差的大小判斷測試樣本的類別，具體步驟包括：

基于彈性網正則化求解測試樣本的稀疏系數，通過稀疏系數重構測試樣本的融合特征，重構殘差最小的類別作為測試樣本的預測類別。

6.一種基于融合特征和字典學習的人臉表示攻擊檢測系統，其特征在于，包括：人臉圖像數據庫構建模塊、初步融合特征提取模塊、最終融合特征生成模塊、字典學習分類器訓練模塊和測試樣本的類別判斷模塊；

所述初步融合特征提取模塊包括圖像質量特征提取模塊和深度網絡特征提取模塊；

所述人臉圖像數據庫構建模塊用于對輸入視頻進行人臉檢測和裁剪，構建人臉圖像數據庫；

所述初步融合特征提取模塊用于提取人臉圖像數據庫中的人臉圖像的融合特征，所述融合特征包括圖像質量特征和深度網絡特征；

所述圖像質量特征提取模塊用于根據人臉圖像二次成像的失真來源提取完整人臉圖像的圖像質量特征；

所述深度網絡特征提取模塊用于構建深度卷積網絡模型，通過深度卷積網絡提取人臉圖像塊的深度網絡特征；

所述最終融合特征生成模塊用于根據圖像質量特征和深度網絡特征，將兩種特征分別標準化后級聯，級聯后的特征通過PCA進行降維，生成最終的融合特征；

所述字典學習分類器訓練模塊用于基于融合特征初始化字典原子，訓練基于低秩共享字典的字典學習分類器；

所述基于融合特征初始化字典原子，訓練基于低秩共享字典的字典學習分類器，具體步驟包括：通過交替優化字典和稀疏系數最小化字典模型的代價函數，迭代優化設定的次數后保存字典；

所述字典模型的代價函數表示為：

其中，第一項為辨別保真項，第二項為基于Fisher準則的判別系數項，第三項為L1正則化項，第四項為核范數，辨別保真項用于實現字典的識別力；判別系數項用于增大類內相似度，減小類間相似度，L1正則化項用于實現系數X的稀疏；核范數用于約束共享字典張成的子空間大小，保證共享字典的低秩性，λ₁、λ₂和η用于權衡代價函數各項的比重，D₀表示共享字典；

判別保真項定義為：

其中，表示第c類的樣本，樣本為融合特征，m表示融合特征的維度，n_c表示第c類的樣本數，D表示總字典，D_c表示第c類的子字典，X_cⁱ表示第c類樣本在第i類字典上的系數；

判別系數項定義為：

其中，M_c表示第c類樣本的稀疏系數的平均值，M表示整個訓練集稀疏系數的平均值，M⁰表示共享字典上系數的平均值，的作用是強制所有訓練樣本在共享字典上的系數靠近平均值；

所述測試樣本的類別判斷模塊用于基于融合特征重構殘差的大小判斷測試樣本的類別。