[發明專利]一種基于圖像域頻域雙流網絡的人臉偽造檢測方法

在審

• 申請號: 202111009733.8
• 申請日: 2021-08-31
• 公開（公告）號: CN113723295A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 劉勇;梁雨菲;王蒙蒙
• 申請（專利權）人: 浙江大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/52;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州泓呈祥專利代理事務所(普通合伙) 33350
• 代理人: 張嬋嬋

1.一種基于圖像域頻域雙流網絡的人臉偽造檢測方法，其特征在于：所述檢測方法包括模型訓練和模型推斷兩個階段；

在模型訓練階段，利用具有高計算性能的服務器對網絡模型進行訓練，通過降低網絡損失函數來優化網絡參數，直至網絡收斂，獲得基于圖像域頻域雙流網絡模型；

在模型推斷階段，利用模型訓練階段獲得的網絡模型，判斷新的圖像是否為人臉偽造圖像。

2.根據權利要求1所述的一種基于圖像域頻域雙流網絡的人臉偽造檢測方法，其特征在于：在模型訓練階段，具體包括以下步驟：

首先進行圖像數據準備，具體是將訓練集中的圖像經過離散余弦變換(DCT)得到圖像的頻譜圖像，并對處理前后的圖像進行圖像數據增強處理，同時，將對應的圖像數據標簽進行重新整合使得每一張圖像均擁有兩級標簽；

然后進行網絡模型訓練，將經過數據增強處理的原始圖像及頻譜圖像成對地送入圖像域頻域雙流網絡，采用層級監督的方法進行訓練；計算損失函數得到梯度，然后進行反向傳播得到訓練好的網絡模型。

3.根據權利要求2所述的一種基于圖像域頻域雙流網絡的人臉偽造檢測方法，其特征在于：關于離散余弦變換(DCT)，具體是使用類型ii 2D-DCT，輸入I(N維)的二維DCT變換定義為：

D＝C^N·I·(C^N)^T，

其中：

D為輸出，

C^N是變換矩陣的系數，

其中j＝0時，α_j＝1；j＞0時，α_j＝2；

經過DCT變換后的頻譜圖像左上角包含圖像低頻信息，右下角包含圖像高頻信息。

4.根據權利要求2所述的一種基于圖像域頻域雙流網絡的人臉偽造檢測方法，其特征在于：圖像數據增強包括對原始圖像和頻譜圖像進行水平翻轉、豎直翻轉以及應用Mix Up和Random Erasing；

其中，Mix up是構建訓練集中的兩個隨機樣本及其標簽的線性插值的虛擬數據作為訓練數據；Random Erasing是隨機擦除圖像中的一塊區域。

5.根據權利要求2所述的一種基于圖像域頻域雙流網絡的人臉偽造檢測方法，其特征在于：圖像標簽的重新整合包括：

首先，根據細粒度標簽信息將圖像的二進制標簽轉換為多類標簽；一類用于真實圖像，多類用于偽造圖像，其中考慮了特定的偽造方法，如FaceSwap、Face2Face、Deepfake等；此外在上述多類標簽中存在層次結構，因為整個數據集被分為真和假兩類；

與此同時，各種各樣的偽造圖像屬于整個假的類別；

將數據集標簽重新整合到它的層次結構中，實現每張圖像都有粗分類和細分類級別的標簽，其中粗分類標簽為第一級標簽，細分類標簽為第二級標簽。

6.根據權利要求1或2所述的一種基于圖像域頻域雙流網絡的人臉偽造檢測方法，其特征在于：對于模型推斷階段，具體包括：

首先，將測試數據圖像經過離散余弦變換(DCT)得到圖像頻譜圖，

然后，將測試數據圖像和獲得的對應圖像頻譜圖一起傳入訓練好的模型得到推斷結果，得到測試圖像的二分類結果和多分類結果，將兩個結果進行加權平均融合得到最終模型推斷的結果。