[發明專利]基于時序不一致性的深度偽造視頻檢測方法及系統

有效

• 申請號: 202011417127.5
• 申請日: 2020-12-04
• 公開（公告）號: CN112488013B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 陳龍;陳函;邱林坤
• 申請（專利權）人: 重慶郵電大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

本發明涉及一種基于時序不一致性的深度偽造視頻檢測方法及系統，屬于視頻檢測領域。該方法包括：S1,獲取視頻數據集，對數據進行預處理，獲得視頻幀的人臉圖像；S2,將視頻幀輸入到微調的網絡Xception+卷積模塊的注意力機制模塊網絡進行訓練，用于視頻幀級特征的提取；S3,用訓練好的Xception網絡進行視頻連續幀的特征提取，并輸入雙向長短期記憶網絡+條件隨機場網絡模型中進行訓練；S4，使用訓練好的模型對待測試的視頻進行偽造檢測。本發明利用偽造技術造成視頻在幀間的時序不一致性，結合雙向長短期記憶網絡和條件隨機場算法，在一定的程度上提升對深度偽造視頻的檢測。

技術領域

本發明屬于視頻檢測領域，涉及基于時序不一致性的深度偽造視頻檢測方法及系統。

背景技術

隨著社會發展和科技的進步，越來越多的人在社交軟件上通過分享照片和視頻來分享自己的生活。然而，由于視頻偽造工具層出不窮(Adobe Premiere、Adobe Photoshop、Lightworks)，使得人們能更方便地對視頻進行偽造，一些不法分子通過對照片和視頻進行偽造來獲取利益。同時，隨著機器學習技術的興起，將深度學習與視頻偽造技術的結合，通過對編解碼器的訓練來進行人臉偽造，使偽造的視頻更加難以分辨真偽。比如換臉軟件ZAO,人們只需要一張照片就可以把一段視頻里的人臉換成照片中的人臉。這些偽造技術使得視頻的完整性、真實性和可靠性受到質疑，對個人和社會都會造成嚴重的影響。

對深度偽造視頻的研究主要集中在對換臉視頻的研究，檢測方法主要分為對視頻幀內的檢測和視頻幀間的檢測。當前主要的檢測方法集中在對視頻幀內的特征研究，使用深度學習進行人臉偽造時，分辨率不一致、光照不一致等原因會造成的臉部局部出現抖動等瑕疵，因此通過對視頻中每個幀的特征來研究和分析視頻的真偽性，使用深度學習相關知識去自動學習并捕獲這些瑕疵從而對視頻的真偽性進行判斷。由于在對視頻進行偽造時，是逐幀進行的，會引入前后幀在表情、光照等時序上的不一致性，用幀內的檢測方法難以捕捉到這種時序的不一致性，同時，目前的一些針對時序不一致性的檢測方法主要都是依賴于當前幀之前的信息，沒有結合未來的幀信息進行考慮，使得對偽造視頻的檢測率低，錯誤率高。

發明內容

有鑒于此，本發明的目的在于提供一種基于時序不一致性的深度偽造視頻檢測方法及系統。

為達到上述目的，本發明提供如下技術方案：

基于時序不一致性的深度偽造視頻檢測方法，該方法包括以下步驟：

S1、獲取實驗數據集，將數據集分為訓練、驗證和測試集，并將視頻處理為視頻幀，同時提取視頻幀中的人臉，將視頻處理只包含人臉的視頻幀；

S2、將經過處理的視頻幀輸入到微調的Xception網絡中，其中Xception網絡中加入卷積模塊的注意力機制模塊CBAM，結合空間和通道對網絡進行訓練，保存使得模型達到最好效果時的參數；

S3、用訓練好的Xception模型去提取每個視頻連續K幀序列的特征，提取每K幀的特征為一組作為雙向長短期記憶網絡Bilstm的輸入進行訓練，其中加入條件隨機場CRF對Bilstm的預測結果進行調整，保存使得模型達到最好效果時的參數；

S4、使用訓練好的雙向長短期記憶網絡Bilstm對待測試的視頻進行檢測，通過輸出測試的準確率等來評估模型的性能。

可選的，所述步驟S1具體包括：

S11、將視頻按照一定的比例分為訓練、驗證、測試集，將視頻真實視頻與偽造視頻進行標記，再根據視頻幀率，對每個視頻取一定比例的幀；

S12、將取到的幀通過人臉檢測器檢測出人臉區域，通過人臉地標進行對齊后按照一定的像素歸一化處理。

可選的，所述步驟S2具體包括：