[發明專利]基于時序不一致性的深度偽造視頻檢測方法及系統

有效

• 申請號: 202011417127.5
• 申請日: 2020-12-04
• 公開（公告）號: CN112488013B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 陳龍;陳函;邱林坤
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

1.基于時序不一致性的深度偽造視頻檢測方法，其特征在于：該方法包括以下步驟：

S1、獲取實驗數據集，將數據集分為訓練、驗證和測試集，并將視頻處理為視頻幀，同時提取視頻幀中的人臉，將視頻處理只包含人臉的視頻幀；

S2、將經過處理的視頻幀輸入到Xception網絡中，其中Xception網絡中加入卷積模塊的注意力機制模塊CBAM，結合空間和通道對網絡進行訓練，保存使得模型達到最好效果時的參數；

S3、用訓練好的Xception模型去提取每個視頻連續K幀序列的特征，提取每K幀的特征為一組作為雙向長短期記憶網絡Bilstm的輸入進行訓練，其中加入條件隨機場CRF對Bilstm的預測結果進行調整，保存使得模型達到最好效果時的參數；

S4、使用訓練好的雙向長短期記憶網絡Bilstm對待測試的視頻進行檢測，通過輸出測試的準確率來評估模型的性能；

所述步驟S2具體包括：

S21、在Xception網絡的全局池化層之前引入卷積模塊的注意力機制模塊CBAM，將通道注意力和空間注意力模塊順序的組合在一起，推斷出各自的注意力權重，再與Xception網絡block-14提取的特征圖相乘，對特征進行自動調整，最后對Xception+CBAM網絡進行調整；

S22、將打好標簽的視頻幀輸入到Xception+CBAM的網絡中進行視頻幀特征提取的訓練，保存使得模型達到最好效果時的參數；

所述步驟S3具體包括：

S31、用訓練好的Xception+CBAM網絡提取視頻連續N幀的特征；在Xception網絡的全局池化層后接的是一個全連接層，輸出的是512維的特征圖，并將此特征圖作為雙向長短期網絡Bilstm的輸入；

S32、Bilstm由前向lstm和后向lstm組成；通過將提取的視頻序列幀特征分別輸入到前向lstm和后向lstm進行時序分析，通過結合視頻幀的上下文信息，將前向lstm和后向lstm產生的特征向量進行拼接后進行分類預測；

S33、其中lstm通過遺忘門、輸入門和輸出門來控制遺忘和記憶的信息，為后續的時序分析傳遞有用的信息，使其結合視頻幀特征的上下文信息來對當前幀進行預測；lstm三個門的計算過程如下：

遺忘門：通過計算決定遺忘哪些不重要的信息，保留哪些重要的信息；其公式為：

f_t＝σ(b_f[h_t-1,x_t]+k_f)

其中f_t是0～1的一個數值，表示上一個時刻的網絡狀態的保留情況；

輸入門：通過計算決定增加哪些新信息以及更新哪些信息，其公式為：

i_t＝σ(b_i[h_t-1,x_t]+k_i)

i_t表示將要更新的值；表示新的候選網絡信息，Ct表示對網絡狀態進行更新；

輸出門：結合更新完后的信息來判斷輸出網絡的狀態特征，其公式為：

O_t＝σ(b_o[h_t-1,x_t]+k_o)

h_t＝O_t*tanh(C_t)

O_t表示輸出的判斷條件；h_t表示最終的輸出；

其中公式中的b,k分別代表權重矩陣和偏置，σ是sigmoid函數，[h_t-1,x_t]表示將上一個狀態的輸出h_t-1與當前狀態的輸入x_t進行拼接；

S34、經過以上的計算將前向lstm與后向lstm的各自的時序輸出h_t進行拼接后的到每個標簽的概率，將這些概率輸入到條件隨機場CRF中，CRF層通過自身學習約束來選擇最佳的時序輸出用于偽造視頻的分類；通過CRF的轉移矩陣和損失函數來對預測結果評分，最后選擇評分最高的作為最后的預測序列；

S35、將S2中提取到的特征輸入到Bilstm+CRF中進行訓練，保存使得模型達到最好效果時的參數。