[發(fā)明專利]一種基于光流法的深度偽造視頻檢測方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111372017.6
• 申請日: 2021-11-18
• 公開（公告）號: CN114078119A
• 公開（公告）日: 2022-02-22
• 發(fā)明（設計）人: 吳婷婷;劉彩玲;汪泰伸;陳德意;高志鵬;張光斌;趙建強;李國慶
• 申請（專利權）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 郭涵煒

公開了一種基于光流法的深度偽造視頻檢測方法和系統(tǒng)，包括收集經過不同方式篡改后的深度偽造視頻和原始視頻分別構建訓練集和驗證集；對訓練集和驗證集中的視頻進行抽幀處理獲得每個視頻的每幀圖像，利用光流計算模型提取光流特征；按時序分別對每幀圖像和光流特征進行拼接，并輸入神經網絡模型訓練至損失收斂；對待驗證視頻進行上述步驟中抽幀處理、光流計算和圖像拼接，并取部分圖像送入神經網絡模型，將獲取到的輸出通過神經網絡的激活函數獲得輸出結果均值，若輸出結果均值不小于預設閾值，則待驗證視頻為深度偽造視頻。本發(fā)明能夠降低深度偽造檢測算法對前置算法的強依賴性，同時能夠有效的對多種深度偽造視頻進行檢測，提升算法泛化能力。

技術領域

本發(fā)明涉及偽造視頻檢測的技術領域，尤其是一種基于光流法的深度偽造視頻檢測方法和系統(tǒng)。

背景技術

深度偽造技術，指利用深度學習相關技術對視頻、音頻、圖像等進行篡改或者生成。有別于傳統(tǒng)偽造技術，深度偽造具有易泛化、肉眼難以分辨等特點，且普通人獲取深度偽造模型后進行偽造的門檻較低，因此近兩年發(fā)展迅速，針對深度偽造視頻的鑒別手段也應運而生。由于目前的深度偽造視頻往往由多幀偽造圖像拼接而成，針對這一特性，主流的深度偽造視頻鑒別方法可分為兩種，一種基于幀內人為視覺效果(visual artifactswithin frame)，另一種基于幀間時間特性(temporal feature across frames)。

基于幀內人為視覺效果的檢測方法主要利用視頻抽幀技術，將視頻幀當做獨立的圖像，使用傳統(tǒng)圖像取證技術和深度學習的檢測技術進行分析。例如基于人臉合成相關先驗，判斷圖像是否存在人臉偽造痕跡；基于不同偽造網絡的特定特征對圖像進行特定特征提取檢測等。考慮到視頻相對圖像而言擁有額外的時序信息，將時序作為另一維度的信息補充可以幫助算法更有效的對深度偽造視頻進行檢測，由此衍生出基于幀間時間特性的檢測方法。例如通過檢測視頻人臉的眨眼頻率進行判別，以人臉檢測為先驗通過循環(huán)神經網絡進行判別等。

目前針對深度偽造視頻檢測算法大多為幀內檢測，算法只對單張視頻幀進行判斷，為了提升網絡的泛化能力，這些算法大部分都引入了強先驗。如認為深度偽造視頻中的易出現偽影(artifact)、牙齒缺乏建模、人眼無鏡面反射等現象，通過算法捕獲這些偽造缺陷從而進行偽造判斷。然而這些方法只能夠解決深度偽造技術發(fā)展初期之時算法生成的偽造視頻，隨著技術的發(fā)展，偽造缺陷逐步被解決，這些基于生物特征不一致的檢測方法也將漸漸失去效力。另一種思路是通過對不同的深度偽造算法進行逐一分析，獲取每個算法的生成特征，再利用這些特征和視頻進行匹配，以判斷視頻是否經過該算法偽造。顯而易見的是這種方法需要大量的資源支撐，并且需要長期維護才能保證算法有效性。幀間檢測算法則大部分對前置算法例如人臉檢測、人眼檢測有強依賴，需要在前置算法準確無誤的情況下才能生效，這在一定程度上會影響深度偽造檢測算法的泛化能力。

深度偽造技術在影視制作等娛樂文化交流產業(yè)有著廣泛的應用前景，但與此同時該技術也同樣可以被應用于輿論誤導、詐騙、網絡安全攻擊等場景，極易對社會造成嚴重的不良影響。因此在該技術快速發(fā)展的同時，針對深度偽造進行偽造檢測的技術也亟需發(fā)展。

發(fā)明內容

為了解決現有技術中基于生物特征不一致的檢測方法失效、幀間檢測算法對前置算法有強依賴，影響深度偽造檢測算法的泛化能力的技術問題，本發(fā)明提出了一種基于光流法的深度偽造視頻檢測方法和系統(tǒng)，以解決上述技術問題。

根據本發(fā)明的一個方面，提出了一種基于光流法的深度偽造視頻檢測方法，該方法包括：

S1：收集經過不同方式篡改后的深度偽造視頻和原始視頻分別構建訓練集和驗證集；

S2：對訓練集和驗證集中的視頻進行抽幀處理獲得每個視頻的每幀圖像，利用光流計算模型提取光流特征；

S3：按時序分別對每幀圖像和光流特征進行拼接，并輸入神經網絡模型訓練至損失收斂；