[發明專利]一種基于圖像域頻域雙流網絡的人臉偽造檢測方法

在審

• 申請號: 202111009733.8
• 申請日: 2021-08-31
• 公開（公告）號: CN113723295A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 劉勇;梁雨菲;王蒙蒙
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/52;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州泓呈祥專利代理事務所(普通合伙) 33350
• 代理人: 張嬋嬋

本發明涉及計算機視覺技術領域，具體涉及的是一種基于圖像域頻域雙流網絡的人臉偽造檢測方法。該檢測方法包括模型訓練和模型推斷兩個階段；在模型訓練階段，利用具有高計算性能的服務器對網絡模型進行訓練，通過降低網絡損失函數來優化網絡參數，直至網絡收斂，獲得基于圖像域頻域雙流網絡模型；在模型推斷階段，利用模型訓練階段獲得的網絡模型，判斷新的圖像是否為人臉偽造圖像。相比于將人臉偽造檢測轉化為二分類問題的方法，本方法實現了層級分類，利用了偽造圖像多樣性的監督信息，能夠達到更好的檢測精度。

技術領域

本發明涉及計算機視覺技術領域，具體涉及的是一種基于圖像域頻域雙流網絡的人臉偽造檢測方法。

背景技術

隨著先進的人臉合成算法的發展，各種逼真的偽造人臉也隨之產生，在社交媒體上的應用引起了人們的高度關注。惡意利用偽造人臉會給個人和社會帶來巨大的不良影響，因此，檢測偽造人臉十分重要。

人臉偽造檢測任務存在諸多挑戰，特別是偽造算法的多樣性，以及互聯網上流傳的人臉偽造圖像往往質量低下、難以檢測。

早期的研究試圖使用手工制作的特征或簡單地修改現有的神經網絡。MesoNet設計了一個由兩個初始模塊和兩個經典卷積層組成的淺層神經網絡，但簡單的淺層網絡在逼真的人臉偽造數據上不能達到很好的精度。

一些方法利用了面部的生物學特征，如從互聯網上獲得的訓練圖像通常不包括閉著眼睛的照片會導致偽造人臉缺乏真正的眨眼。通過神經網絡模型檢測眨眼現象，從而檢測偽造人臉。然而，這種檢測可以通過在訓練期間故意將閉著眼睛的圖像結合起來來避免。

FaceX-ray用自己生成的數據去定位換臉的區域，但該方法在低質量偽造圖像的檢測上不能達到很好的精度和效果。

目前大多數人臉偽造檢測算法都是僅利用圖像域的信息將該任務轉化為二分類任務來判別圖像真偽，不能利用多種類型偽造算法的監督信息。偽造圖像中存在的偽影等可檢測元素在低質量圖像中會被壓縮而難以檢測，而頻域中的偽影在低質量圖像中也仍然存在。

發明內容

本發明的目的在于針對目前針對人臉偽造檢測的不足，提供一種基于圖像域頻域雙流網絡的人臉偽造檢測方法。

該方法基于圖像域頻域雙流網絡的人臉偽造檢測框架，同時利用不同偽造算法監督信息進行層級監督，可以在不同清晰度的圖像中保證偽造檢測的精度。

該方法解決了傳統人臉偽造檢測算法在低質量圖像上檢測效果差、利用圖像域偽影檢測不穩定等問題。

本發明解決其技術問題所采用的技術方案是：

一種基于圖像域頻域雙流網絡的人臉偽造檢測方法，所述檢測方法包括模型訓練和模型推斷兩個階段；

在模型訓練階段，利用具有高計算性能的服務器對網絡模型進行訓練，通過降低網絡損失函數來優化網絡參數，直至網絡收斂，獲得基于圖像域頻域雙流網絡模型；

在模型推斷階段，利用模型訓練階段獲得的網絡模型，判斷新的圖像是否為人臉偽造圖像。

優選的，在模型訓練階段，具體包括以下步驟：

首先進行圖像數據準備，具體是將訓練集中的圖像經過離散余弦變換(DCT)得到圖像的頻譜圖像，并對處理前后的圖像進行圖像數據增強處理，同時，將對應的圖像數據標簽進行重新整合使得每一張圖像均擁有兩級標簽；

然后進行網絡模型訓練，將經過數據增強處理的原始圖像及頻譜圖像成對地送入圖像域頻域雙流網絡，采用層級監督的方法進行訓練；計算損失函數得到梯度，然后進行反向傳播得到訓練好的網絡模型。

優選的，關于離散余弦變換(DCT)，具體是使用類型ii 2D-DCT，輸入I(N維)的二維DCT變換定義為：

D＝C^N·I·(C^N)^T，

其中：