[發明專利]一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法

在審

• 申請號: 202110823054.8
• 申請日: 2021-07-21
• 公開（公告）號: CN113570564A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 趙才榮;王楚天
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

1.一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法，其特征在于，包括以下步驟：

S1：使用OpenCV庫，對需要檢測的視頻逐幀提取幀圖像，并由后續步驟進行逐幀識別；

S2：使用人臉檢測模型，對幀圖像進行人臉檢測步驟，獲取一個或數個包含了人臉及小范圍背景信息的圖像，稱為人臉圖像；

S3：使用事先訓練好的三路卷積神經網絡模型，首先對人臉圖像進行卷積處理，得到對應的特征后使用全連接神經網絡進行預測，得到人臉圖像為偽造的概率，最后通過對多路網絡的預測結果進行求和處理并對比概率值得到該人臉是否為偽造的標簽。

2.根據權利要求1所述的一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法，其特征在于，步驟S3構造網絡及訓練算法過程；所述網絡包括三路卷積神經網絡模型和全連接網絡，算法過程具體為：

S3.1：三路卷積神經網絡模型，其網絡包含三個分支，為三個骨干卷積網絡，在訓練時分別使用1×1原始人臉圖像、2×2切塊打亂的人臉圖像及3×3切塊打亂的人臉圖像進行訓練；

S3.2：網絡還包含了一個拼圖求解模塊，該模塊將人臉隨機打亂的模式視為一個需要求解的拼圖，并使用由1×1卷積核構成的卷積層預測該打亂模式，該預測結果的損失被用作對抗損失訓練骨干卷積網絡；

S3.3：網絡在訓練時每次迭代同時輸入人臉圖像的高清及低清版本，兩者經過2×2切塊打亂的人臉圖像及3×3切塊打亂的人臉圖像兩種骨干卷積網絡計算得到的特征圖基于知識蒸餾計算蒸餾損失并進行訓練；

S3.4：網絡還包含了一個清晰度預測模塊，骨干卷積網絡該模塊以人臉圖像經過骨干卷積網絡處理后得到的特征向量作為輸入，預測其為高清版本的人臉圖像生成的特征向量或是由低清版本的人臉圖像生成的特征向量，該預測結果與真實值的交叉熵損失作為對抗損失訓練骨干卷積網絡；

S3.5：輸入骨干卷積網絡對進行打亂后的圖片提取特征并由后續全連接網絡輸出真偽判別結果。

3.根據權利要求2所述的一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法，其特征在于，所述的S3.2,采取計算打亂模式混亂度的方法進行控制，具體的，將打亂模式表示為3維張量M∈{1,2,…,N}^2×N×N，其中N代表圖像被切分為N×N塊，M中的每一個元素M_x,y＝[i,j]^T代表原本位置在[x,y]處的圖像塊被移動到了[i,j]位置，則打亂模式M對應的混亂度D(M)的計算方法如下式所示

4.根據權利要求2所述的一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法，其特征在于，所述的S3.2,采用以下拼圖預測損失進行對抗訓練：

具體的，對抗訓練的方法為求解以下最優化問題：

其中，λ_jig代表拼圖預測損失占總損失函數的權重，θ_d代表骨干卷積網絡的可訓練參數。

5.根據權利要求2所述的一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法，其特征在于，所述的S3.3,網絡在訓練時每次迭代同時輸入人臉圖像的高清及低清版本，兩者經過骨干網絡計算得到的特征圖基于知識蒸餾計算蒸餾損失并進行訓練；該蒸餾損失的計算公式如下：

其中和分別高清版本人臉圖像I_H和低清版本人臉圖像I_L經過骨干網絡提取特征并GAP處理后的特征向量。

6.根據權利要求2所述的一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法，其特征在于，所述的S3.4，該損失作為對抗損失訓練骨干卷積網絡，即求解以下最優化問題：

其中，λ_jig代表清晰度預測損失占總損失函數的權重。