[發明專利]基于圖像組與兩流網絡的Deepfake視頻檢測方法

有效

• 申請號: 202110717852.2
• 申請日: 2021-06-28
• 公開（公告）號: CN113283393B
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 王金偉;張玫瑰
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 上官鳳棲

本發明涉及一種基于圖像組與兩流網絡的Deepfake視頻檢測方法，包括以下步驟：（1）提取待檢測視頻的關鍵幀組成圖像組；（2）將圖像組的首幀輸入兩流網絡中的空間流提取空間特征；（3）將圖像組的剩余幀分別與首幀差分以獲取差圖，并組成差圖序列輸入兩流網絡中的時間流提取時間特征；（4）將提取到的空間特征和時間特征融合，利用動態路由算法評估視頻的真實性。相比于現有技術，本發明利用圖像組減少了計算冗余，使網絡專注于關鍵幀，通過融合空間特征和時間特征充分利用關鍵幀的時空信息，并通過動態路由算法進行分類以得到更準確的評估結果。

技術領域

本發明屬于視頻檢測領域，具體涉及一種基于圖像組與兩流網絡的Deepfake視頻檢測方法。

背景技術

隨著人工智能技術的興起與發展，換臉技術在不斷地發展過程中也逐漸得到了大家的廣泛關注。Deepfake的出現是人臉交換技術的一個突破，它是一種可以將視頻中源人物面部圖像替換為目標人物面部圖像的技術。隨著生成式對抗網絡的出現和優化，人臉交換變得越來越容易，且不易被裸眼發現。名人和政客作為公眾人物有大量的視頻被發布在網絡上，這使得不法分子可以隨心所欲地偽造視頻，借此傳播虛假信息、制造混亂等，給人類社會帶來威脅。所以針對Deepfake視頻的檢測刻不容緩，具有極大的現實意義。

Deepfake視頻的檢測方法可以分為基于幀內偽影的檢測和基于幀間時間特征的檢測。基于幀內偽影的檢測方法首先將視頻分解成幀，然后對所有幀進行分析，判斷視頻真實性的方法是對所有幀結果進行平均，得到視頻級別的預測。這種方法與圖像檢測相似，不同的是，經過壓縮后，視頻幀的清晰度降低，檢測難度增加。雖然CNN可以正確預測每一幀，但是通過計算平均值來預測視頻的真實性是不準確的。第二種基于幀間時間特征的方法將視頻作為一個整體，考慮了視頻幀間的時間相關性，對Deepfake視頻的評價則更為合理。然而，上述兩種方法都有一個共同問題，即需要對整個視頻進行分析才能得到結果，由于視頻幀間的相似性，必然會導致視頻幀間信息的高度冗余，進而使得檢測方法計算量大，處理緩慢。

發明內容

為克服現有Deepfake視頻檢測技術存在的計算量大、效率低的問題，本發明提供一種基于圖像組與兩流網絡的Deepfake視頻檢測方法。本發明采用的技術方案如下：

一種基于圖像組與兩流網絡的Deepfake視頻檢測方法，包括以下步驟：

步驟1：提取待檢測視頻的關鍵幀組成圖像組；

步驟2：將圖像組的首幀輸入兩流網絡中的空間流提取空間特征；

步驟3：將圖像組的其余幀分別與首幀差分以獲取差圖，并組成差圖序列輸入兩流網絡中的時間流提取時間特征；

步驟4：將提取到的空間特征和時間特征融合，利用動態路由算法評估視頻的真實性。

進一步地，在所述步驟1中，以固定尺寸裁剪獲取視頻幀中的人臉區域圖像，對相鄰幀間的人臉區域圖像進行差分，根據幀間差分的平均強度提取人臉區域變化最大的10幀人臉區域圖像作為關鍵幀，并按時序組成圖像組以表示該段視頻。

進一步地，所述幀間差分法的計算公式如下，

absDiff_i＝F_i-F_i-1，

其中，F_i、F_i-1分別表示第i幀的人臉區域圖像與第i-1幀的人臉區域圖像，absDiff_i表示第i幀人臉區域圖像與第i-1幀人臉區域圖像的差分；所述幀間差分的平均強度的計算表達式如下，