[發明專利]一種基于transformer的假視頻檢測方法

有效

• 申請號: 202111267422.1
• 申請日: 2021-10-29
• 公開（公告）號: CN113837147B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 王英龍;張亞寧;舒明雷;陳達;劉麗;孔祥龍
• 申請（專利權）人: 山東省人工智能研究院;齊魯工業大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V40/16;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 濟南泉城專利商標事務所 37218
• 代理人: 支文彬

一種基于transformer的假視頻檢測方法，通過對一個視頻連續幀的臉圖像利用空間視覺transformer模型提取全局空間特征，避免了傳統檢測方法僅提取局部特征而導致泛化性能差，由于假視頻通常在時間序列上具有不一致性，所以進一步通過時間視覺transformer模型捕獲全局時間特征，從而使空間特征與時間特征結合來提高檢測的準確性，適用于各種改進生成算法生成的deepfake檢測,檢測到的deepfake的準確度明顯優于其他方法。

技術領域

本發明涉及Deepfake檢測方法技術領域，具體涉及一種基于transformer的假視頻檢測方法。

背景技術

Deepfake是利用基于深度學習的技術Autoencoder、GAN等深度學習算法將源視頻中的人臉換成目標視頻人臉。到目前為止，已經有大量deepfake視頻在網上流傳，這些視頻通常用于損害名人名譽，引導輿論，極大威脅社會穩定。目前常用的Deepfake檢測方法有遷移學習，注意力機制，以上檢測方法是基于有明顯造假視覺偽影的假視頻設計的，并且只在具有相同操縱算法的內部數據集上檢測性能較高，方法泛化性差。利用注意力機制的檢測方法可以捕獲局部特征間的關系，但沒有明顯考慮圖像不同像素之間的全局關系，因此難以應用普及。

現存的Deepfake視頻通過改進的生成算法合成的假視頻質量越來越逼真，并通過添加噪聲，形變等使其更接近真實世界的Deepfake視頻分布。傳統的Deepfake檢測算法不適用于檢測改進的生成技術合成的假視頻，泛化性較差。因此，Deepfake檢測面臨新挑戰并需進一步改善。

發明內容

本發明為了克服以上技術的不足，提供了一種首先對一個視頻幀的臉圖像全局空間信息學習提取空間特征，然后對每幀臉圖像空間特征的全局時間信息學習提取時間特征，從而將時間和空間特征結合進行檢測Deepfake視頻的方法。

本發明克服其技術問題所采用的技術方案是：

一種基于transformer的假視頻檢測方法，包括如下步驟：

a)利用讀視頻算法對K個視頻中的每個視頻提取連續的視頻幀，利用臉識別算法提取每個視頻的連續的視頻幀中的人臉圖像；

b)對人臉圖像進行預處理，利用特征提取模塊得到人臉的局部特征；

c)將特征提取模塊提取的人臉的局部特征輸入空間視覺transformer模型中，得到該視頻幀的人臉圖像的全局空間特征；

d)將步驟c)得到的人臉圖像的全局空間特征輸入時間視覺transformer模型中，得到該視頻幀的人臉的全局時間空間特征；

e)將步驟d)得到的人臉的全局時間空間特征輸入分類器經過softmax進行二分類真假檢測。

進一步的，步驟a)中利用python中的讀視頻算法VideoReader類對視頻提取，得到連續的t個視頻幀，對提取的視頻幀利用人臉識別算法dlib庫中的get_frontal_face_detector函數提取臉圖像，將得到的臉放入該視頻文件夾下，在該視頻文件夾下得到連續幀的t張人臉圖像。

進一步的，步驟a)中得到的連續幀的t張人臉圖像的寬高分別調整為224、224，利用均值為[0.4718,0.3467,0.3154]，方差為[0.1656,0.1432,0.1364]對人臉圖像進行歸一化，將歸一化后的連續幀的t張人臉圖像封裝為[b,t,c,h,w]的張量x_i∈R^{b×t×c×h×w}，R為向量空間，其中視頻標簽為[b,0/1]，x_i為第i個視頻批次，i∈{1,…,K/b}，b為每批次視頻的個數，c為每張人臉圖像通道數，h為每張人臉圖像的高，w為每張人臉圖像的寬，0表示假視頻，1表示真視頻。

進一步的，步驟b)包括如下步驟：