[發明專利]一種基于頻域信息與多任務學習的深度偽造視頻鑒別方法

在審

• 申請號: 202210585640.8
• 申請日: 2022-05-27
• 公開（公告）號: CN115187891A
• 公開（公告）日: 2022-10-14
• 發明（設計）人: 王磊;潘進;郭承禹;楊博;金澤暉;冷彪
• 申請（專利權）人: 國家計算機網絡與信息安全管理中心
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06V10/80;G06V10/82;G06N3/08
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.基于頻域信息與多任務學習的深度偽造視頻鑒別方法，其特征在于，包括以下步驟：

步驟1：將深度偽造視頻分解為圖像幀，得到RGB三通道的圖像，然后使用頻域分析中的離散余弦變換對RGB三通道的圖像進行操作，結合分塊處理的方式保留部分RGB三通道圖像的空間信息，得到預處理后的頻域特征作為輸入數據；

步驟2：使用多任務學習的深度神經網絡提取步驟1中得到的輸入數據的特征，多任務學習的深度神經網絡的模型采用Xception網絡作為骨干網絡，并設計一種基于反卷積運算的圖像分割模塊預測RGB圖像中包含偽造痕跡的區域，還設計一種特征融合模塊，將分割模塊中提取的特征與骨干網絡提取的特征相融合，得到融合后的特征，該融合后的特征的包含數百個維度的屬性，稱為融合后的高維特征，該融合后的高維特征進入分類模塊中的分類器計算分類結果；

步驟3：將融合后的高維特征之間的關系轉化為三維條件下的球體幾何距離，步驟2得到的融合后的高維特征分為真實視頻的高維特征與偽造視頻的高維特征，將真實視頻的高維特征約束在三維球體的球心附近，將偽造視頻的高維特征約束在三維球體表面并且與真實視頻的特征保持緩沖距離，通過設計一種優化訓練引導目標算法，實現多任務學習的深度神經網絡模型的訓練，得到深度偽造視頻鑒別模型，利用此模型完成深度偽造視頻的鑒別。

2.根據權利要求1所述的基于頻域信息與多任務學習的深度偽造視頻鑒別方法，其特征在于：所述步驟1中：分塊處理后的頻域特征frequency_map，如下所示：

frequency_map＝{DCT(patch_8×8)}

其中patch_8×8指以8個像素為邊長大小的局部RGB圖像，DCT為二維離散余弦變換。

3.根據權利要求1所述的基于頻域信息與多任務學習的深度偽造視頻鑒別方法，其特征在于：所述步驟2中：所述多任務學習的深度神經網絡的結構如下：

多任務學習的深度神經網絡的結構包括骨干網絡模塊、分割模塊與分類模塊，其中骨干網絡模塊采用Xception模型的結構，僅保留原Xception中第12個卷積模塊輸出的特征而不采用Xception模型的分類器，接著將輸出的特征輸入分割模塊與分類模塊；分割模塊包含4組反卷積模塊，每組反卷積模塊中均包含一個反卷積層、一個卷積層與一個激活層；分割模塊負責進一步提煉特征，并將提煉后的特征傳給分類模塊；分類模塊分別獲取骨干網絡模塊與分割模塊的輸出，進行基于卷積運算的特征融合，再將融合后的特征輸入分類模塊中的分類器部分進行視頻真偽的判斷。

4.根據權利要求1所述的基于頻域信息與多任務學習的深度偽造視頻鑒別方法，其特征在于：所述步驟3中：所述一種優化訓練引導目標算法利用損失函數實現，損失函數實現如下公式：

其中Loss_target為最終的優化訓練引導目標，λ₁與λ₂為平衡參數，實際使用中分別取1.0與5.0，Loss_CE(pred,label)為預測結果與實際類別之間的交叉熵損失函數，pred,label分別表示模型輸出的結果與預先標注的實際分類結果，R、m與n為預先定義的調控參數，實際使用中分別取值2.0、0.5與0.9，θ_pred為pred與分類模塊中的分類器中label對應的參數的夾角，由于本問題是一個區分真偽的二分類問題，故稱與label相反的另一類為other，θ_other為分類器中other對應的參數與pred的夾角。