[發明專利]基于信任機制下面部交并比的假臉視頻檢測方法及系統

有效

• 申請號: 201911139038.6
• 申請日: 2019-11-20
• 公開（公告）號: CN110929635B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 胡永健;高逸飛;劉琲貝;王宇飛
• 申請（專利權）人: 華南理工大學
• 主分類號: G06V40/40
• 分類號: G06V40/40;G06V20/40;G06V40/16;G06V10/28;G06V10/774;G06V10/764;G06V10/82;G06V10/26
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于信任機制下面部交并比的假臉視頻檢測方法及系統，該方法包括網絡訓練和樣本測試步驟：網絡訓練步驟包括模型訓練和模型驗證。模型訓練步驟對分割網絡進行訓練，保存分割網絡模型和權重值；模型驗證步驟使用訓練好的分割網絡預測掩膜，采用網格搜索方法確定二值化閾值和判決閾值。樣本測試包括視頻分幀預處理得到輸入圖片、利用分割網絡確定待檢測區域、平滑去噪、二值化待檢測區域，確定臉部區域和待定篡改區域，計算信任機制下兩者的交并比，最后根據判決閾值進行真假臉判決。本發明針對深度換臉工具生成的假臉視頻進行檢測，在不同數據庫中均獲得較高的準確率，跨庫測試性能明顯提升，為假臉視頻檢測提供了一種有效途徑。

技術領域

本發明涉及數字視頻的篡改檢測技術領域，具體涉及一種基于信任機制下面部交并比的假臉視頻檢測方法及系統。

背景技術

在眾多生物特征中，人臉是最具有代表性的特征之一，可辨識度較高。因此，隨著人臉識別技術的突飛猛進，人臉篡改帶來的安全威脅越來越大，特別是在手機高度流行和社交網絡日益成熟的當代。深度換臉工具主要使用自編碼器或對抗生成網絡等深度神經網絡生成虛假人臉后再對原視頻的人臉進行替換，根據所使用的特征，現有假臉視頻檢測技術大致可分為三大類：基于傳統手工特征、基于生物特征以及基于神經網絡提取特征。上述方法在一定程度上能夠識別出假臉視頻，尤其在庫內，測試中可達較高的準確率，然而，在跨庫測試中準確率均急劇下降，即存在泛化能力不足問題。

發明內容

為了克服現有技術存在的缺陷與不足，本發明提供一種基于信任機制下面部交并比的假臉視頻檢測方法及系統，本發明運用了像素級分類技巧和假臉篡改的先驗知識，有效降低了跨庫測試的平均錯誤率，使用圖像分割進行確定待檢測區域后再分類判決，有效地提高了泛化能力。

為了達到上述目的，本發明采用以下技術方案：

本發明提供一種基于信任機制下面部交并比的假臉視頻檢測方法，包括網絡訓練步驟和樣本測試步驟，所述網絡訓練步驟包括模型訓練步驟和模型驗證步驟；

將數據集劃分為源訓練集、源驗證集和源測試集；

所述模型訓練步驟包括下述步驟：

對所述源訓練集進行圖像預處理后得到訓練集圖片X＝{X₁,X₂,...,X_N}，訓練集正確掩膜Y＝{Y₁,Y₂,...,Y_N}，其中N為訓練集圖片總數；

輸入訓練集圖片X和標簽為訓練集正確掩膜Y進行分割網絡訓練，分割網絡訓練完成后保存分割網絡模型和權重值；

所述模型驗證步驟包括下述步驟：

對所述源驗證集進行圖像預處理后得到驗證集圖片Z＝{Z₁,Z₂,...,Z_Q}，其中Q為驗證集圖片總數；

對驗證集第k張圖片Z_k采用訓練好的分割網絡預測得到掩膜ZM_k，確定待檢測區域；

對預測的掩膜ZM_k進行平滑處理得到去噪后的掩膜ZMS_k；

設置初始二值化閾值T₁和初始判決閾值T₂，采用網格搜索法進行網格搜索，并對驗證集圖片去噪后的掩膜進行二值化處理、面部交并比計算和二分類判決，得到虛警率和漏檢率，記錄相應的閾值對和等錯誤率，當判定等錯誤率最小時，選定二值化閾值T_1o和判決閾值T_2o；

所述樣本測試步驟包括下述步驟：