[發(fā)明專利]一種基于頻域信息與多任務學習的深度偽造視頻鑒別方法

在審

• 申請?zhí)枺?/td>: 202210585640.8
• 申請日: 2022-05-27
• 公開（公告）號: CN115187891A
• 公開（公告）日: 2022-10-14
• 發(fā)明（設計）人: 王磊;潘進;郭承禹;楊博;金澤暉;冷彪
• 申請（專利權）人: 國家計算機網(wǎng)絡與信息安全管理中心
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

本發(fā)明涉及一種基于頻域信息與多任務學習的深度偽造視頻鑒別方法，使用頻域分析中的離散余弦變換，結合分塊處理的方式保留部分RGB三通道圖像的空間信息，得到頻域特征作為輸入數(shù)據(jù)；使用多任務學習的深度神經(jīng)網(wǎng)絡提取輸入數(shù)據(jù)的特征，將Xception網(wǎng)絡作為骨干網(wǎng)絡模塊，并設計基于反卷積運算的分割模塊與基于特征融合的分類模塊，將骨干網(wǎng)絡模塊與分割模塊提取的特征融合；同時設計優(yōu)化訓練引導目標算法，將融合后的特征間關系轉(zhuǎn)化為三維條件下的幾何距離，通過優(yōu)化訓練引導目標算法完成多任務學習的深度神經(jīng)網(wǎng)絡模型的訓練，得到深度偽造視頻鑒別模型，完成深度偽造視頻的鑒別。

技術領域

本發(fā)明涉及一種基于頻域信號處理與分析的、結合多任務深度學習模式的深度偽造視頻鑒別方法，屬于深度學習領域、計算機視覺領域中的深度偽造視頻檢測領域。

背景技術

隨著深度學習技術的發(fā)展，尤其是以對抗生成網(wǎng)絡為代表的生成式網(wǎng)絡的發(fā)展，應用深度學習模型，已經(jīng)可以制作出越來越多高清、高質(zhì)量的圖片與視頻，其中用于生成人臉的模型取得了尤其突出的進步，目前已經(jīng)可以生成普通人難以肉眼分辨、足以以假亂真的合成人臉，這一類技術也被統(tǒng)稱為深度偽造生成技術；另一方面，由于深度偽造生成技術越來越多地被用于進行損害他人權益的事件，例如對他人進行詆毀、散布謠言等，專門對此類深度偽造視頻進行鑒別的深度偽造檢測領域應運而生。深度偽造生成領域與檢測領域呈現(xiàn)盾與矛的關系，在競爭中相互促進發(fā)展，共同構成深度偽造領域。

深度偽造檢測技術近幾年來形成了三類主流的技術路線：基于人為定義痕跡檢測、基于單張圖片檢測、基于圖片序列檢測，但是實際中采用的具體方法種類較多，呈現(xiàn)百花齊放的態(tài)勢。早期大多數(shù)鑒別方法是基于人為定義痕跡的檢測設計的，出于早期對偽造視頻的肉眼觀察，人們首先發(fā)現(xiàn)視頻中人物的眨眼規(guī)律、頭部姿態(tài)角度、牙齒與瞳孔的高光區(qū)域等細節(jié)存在肉眼可見的視覺瑕疵，因此應用多種技術開發(fā)了針對性檢測以上視覺瑕疵的鑒別方法。基于單張圖片的檢測方法大多采用的是一種數(shù)據(jù)驅(qū)動的深度學習檢測算法，通過一定的預處理增強偽造視頻的圖片幀中的某類特征，再用數(shù)據(jù)驅(qū)動的方式驅(qū)使深度學習模型自發(fā)地探索偽造地痕跡，這類方法的鑒別依據(jù)往往是肉眼不可見的細微紋理信息。基于圖片序列的檢測方法在單張圖片的基礎上引入的視頻中幀序列之間的時序特征，為深度偽造檢測提供了更多的判別依據(jù)，多采用3D卷積、時序模型等參數(shù)量更大、計算更耗時的深度學習網(wǎng)絡進行更充分的痕跡挖掘。

現(xiàn)有的深度偽造檢測方法僅在特定的數(shù)據(jù)集上可以表現(xiàn)出較好的準確率，但是一方面，在不同數(shù)據(jù)集的跨域場景下，鑒別的泛化能力問題非常突出；另一方面，數(shù)據(jù)集中的場景較簡單可控、畫面的質(zhì)量、人物的配合程度、偽造技術的種類與偽造思路等都是較統(tǒng)一、簡單的，然而互聯(lián)網(wǎng)中流傳的深度偽造視頻的來源、技術、效果與數(shù)據(jù)集有著本質(zhì)的差別，現(xiàn)有方法在面對互聯(lián)網(wǎng)中流傳的深度偽造視頻時效果往往不理想。造成這一問題的原因可以分為三個方面：首先網(wǎng)絡中流傳的深度偽造視頻的技術來源是未知的，大量的偽造源頭例如發(fā)布在收集應用平臺中的基于深度偽造技術開發(fā)的應用程序其技術是不公開、無法獲取的；其次視頻在網(wǎng)絡中流傳時，經(jīng)過轉(zhuǎn)載、上傳等操作，視頻的畫質(zhì)會經(jīng)歷明顯的壓縮，抹去了大量對深度偽造檢測關鍵的細節(jié)痕跡，提高了鑒別偽造視頻的難度；最后，互聯(lián)網(wǎng)中的偽造視頻尤其是針對特定人進行詆毀抹黑的惡意深度偽造視頻，往往是為了達到特定目的而通過偽造者精心設計的偽造流程逐一制作的，與批量生成的數(shù)據(jù)集有著本質(zhì)的區(qū)別。

綜上所述，深度偽造檢測領域現(xiàn)有的鑒別方法具有一定的局限性。

發(fā)明內(nèi)容

本發(fā)明技術要解決的問題是：克服現(xiàn)有方法穩(wěn)定性、泛化性差，無法有效應對互聯(lián)網(wǎng)中的深度偽造視頻的問題，提供基于頻域信息與多任務學習的深度偽造視頻鑒別方法，提高深度偽造視頻鑒別準確率、提高鑒別方法應對網(wǎng)絡視頻環(huán)境的能力、提高模型的可解釋性與泛化性。

本發(fā)明的基于頻域信息與多任務學習的深度偽造視頻鑒別方法，其包括以下步驟：