[發明專利]一種基于光流法的深度偽造視頻檢測方法和系統

在審

• 申請號: 202111372017.6
• 申請日: 2021-11-18
• 公開（公告）號: CN114078119A
• 公開（公告）日: 2022-02-22
• 發明（設計）人: 吳婷婷;劉彩玲;汪泰伸;陳德意;高志鵬;張光斌;趙建強;李國慶
• 申請（專利權）人: 廈門市美亞柏科信息股份有限公司
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T3/40;G06K9/62;G06N3/04;G06N3/08;G06V10/774
• 代理公司: 廈門福貝知識產權代理事務所(普通合伙) 35235
• 代理人: 郭涵煒

1.一種基于光流法的深度偽造視頻檢測方法，其特征在于，包括：

S1：收集經過不同方式篡改后的深度偽造視頻和原始視頻分別構建訓練集和驗證集；

S2：對所述訓練集和所述驗證集中的視頻進行抽幀處理獲得每個視頻的每幀圖像，利用光流計算模型提取光流特征；

S3：按時序分別對所述每幀圖像和所述光流特征進行拼接，并輸入神經網絡模型訓練至損失收斂；

S4：對待驗證視頻進行所述步驟S2和S3中的抽幀處理、光流計算和圖像拼接，并取部分圖像送入所述神經網絡模型，將獲取到的輸出通過神經網絡的激活函數獲得輸出結果均值，若所述輸出結果均值不小于預設閾值，則所述待驗證視頻為深度偽造視頻。

2.根據權利要求1所述的基于光流法的深度偽造視頻檢測方法，其特征在于，所述步驟S1中按10:1的比例構建所述訓練集和所述驗證集。

3.根據權利要求1所述的基于光流法的深度偽造視頻檢測方法，其特征在于，所述步驟S2中利用光流計算模型提取光流特征具體采用遞歸全場變換光流計算模型獲取所述光流特征。

4.根據權利要求3所述的基于光流法的深度偽造視頻檢測方法，其特征在于，所述步驟S3中具體包括將獲取的抽幀圖像和光流圖像分別使用雙線性插值尺度變換到固定大小，并按時序分別將所述抽幀圖像和光流圖像進行拼接。

5.根據權利要求4所述的基于光流法的深度偽造視頻檢測方法，其特征在于，所述固定大小為(128，128)，以10幀為一個拼接單位，每個拼接單位之間的拼接步長為3幀。

6.根據權利要求1所述的基于光流法的深度偽造視頻檢測方法，其特征在于，所述神經網絡模型包括一個卷積神經網絡和一個循環神經網絡，所述卷積神經網絡接受(n，n*p，6)的輸入，n為輸入圖像的高度，n*p為輸入圖像的寬度，6為通道大小，所述通道包括獲取的光流拼接圖像和抽幀拼接圖像經過通道；所述循環神經網絡接受所述卷積神經網絡提取的特征作為輸入，進一步提取特征之間的時序信息，通過一個全連接層作為分類器，輸出一個一維的特征值。

7.根據權利要求6所述的基于光流法的深度偽造視頻檢測方法，其特征在于，所述神經網絡模型采用交叉熵損失其中，y為樣本真實標簽，為網絡推理出來的預測標簽。

8.根據權利要求1所述的基于光流法的深度偽造視頻檢測方法，其特征在于，所述神經網絡的激活函數采用sigmoid函數，所述預設閾值為0.5。

9.一種計算機可讀存儲介質，其上存儲有一或多個計算機程序，其特征在于，該一或多個計算機程序被計算機處理器執行時實施權利要求1至8任一項所述的方法。

10.一種基于光流法的深度偽造視頻檢測系統，其特征在于，所述系統包括：

樣本收集單元，配置用于收集經過不同方式篡改后的深度偽造視頻和原始視頻分別構建訓練集和驗證集；

光流特征提取單元，配置用于對所述訓練集和所述驗證集中的視頻進行抽幀處理獲得每個視頻的每幀圖像，利用光流計算模型提取光流特征；

訓練單元：配置用于按時序分別對所述每幀圖像和所述光流特征進行拼接，并輸入神經網絡模型訓練至損失收斂；

驗證單元：配置用于對待驗證視頻進行抽幀處理、光流計算和圖像拼接，并取部分圖像送入所述神經網絡模型，將獲取到的輸出通過神經網絡的激活函數獲得輸出結果均值，若所述輸出結果均值不小于預設閾值，則所述待驗證視頻為深度偽造視頻。

11.根據權利要求10所述的基于光流法的深度偽造視頻檢測系統，其特征在于，按10:1的比例構建所述訓練集和所述驗證集。

12.根據權利要求10所述的基于光流法的深度偽造視頻檢測系統，其特征在于，利用光流計算模型提取光流特征具體采用遞歸全場變換光流計算模型獲取所述光流特征。