[發(fā)明專利]一種基于SSIM差異圖的人臉偽造檢測與定位方法

在審

• 申請?zhí)枺?/td>: 202210098425.5
• 申請日: 2022-01-19
• 公開（公告）號: CN114445891A
• 公開（公告）日: 2022-05-06
• 發(fā)明（設計）人: 彭飛;張新林
• 申請（專利權）人: 湖南大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于SSIM差異圖的人臉偽造檢測與定位方法，其特征在于，所述方法包括：

將原始人臉與偽造人臉的結構相似度(SSIM)差異圖作為篡改定位的標簽圖；

通過具有殘差注意力的相鄰層聚合模塊從低層到高層特征圖中確定篡改區(qū)域，且其中的殘差注意力能幫助網絡更加關注篡改區(qū)域以減弱背景噪音的影響；通過空洞卷積模塊處理多尺度的篡改區(qū)域；通過輕量級的輔助Sobel流緩解視頻壓縮導致的偽影污染問題，Sobel流由三組圖像梯度增強模塊組成。

2.根據權利要求1所述一種基于SSIM差異圖的人臉偽造檢測與定位方法，其特征在于，將原始人臉與偽造人臉的SSIM差異圖作為篡改定位的標簽圖，實現步驟包括：

(2.1)使用人臉檢測器提取原始視頻中所有幀的人臉邊界框坐標，并裁剪出原始人臉圖像。將原始人臉圖像篡改定位標簽圖的像素值設置為全零；

(2.2)根據步驟(2.1)得到的人臉邊界框坐標，將其運用到原始視頻對應的偽造視頻，裁剪出偽造人臉圖像。偽造人臉圖像篡改定位標簽圖的像素值為偽造人臉圖像和原始人臉圖像的結構相似度差異值；

(2.3)將步驟(2.1)以及步驟(2.2)得到的人臉圖像當作訓練集，并使用篡改定位標簽圖進行端到端的監(jiān)督訓練。

3.根據權利要求1所述一種基于SSIM差異圖的人臉偽造檢測與定位方法，其特征在于，通過具有殘差注意力的相鄰層聚合模塊從低層到高層特征圖中確定篡改區(qū)域，且其中的殘差注意力能幫助網絡更加關注篡改區(qū)域以減弱背景噪音的影響，實現步驟包括：

(3.1)將主干網絡兩個相鄰層級的特征和輸送到相鄰層聚合模塊并進行聚合；

(3.2)聚合后的特征圖通過殘差注意力學習后輸出到解碼器。

4.根據權利要求1所述一種基于SSIM差異圖的人臉偽造檢測與定位方法，其特征在于，通過空洞卷積模塊處理多尺度的篡改區(qū)域。所述空洞卷積模塊首先通過加性融合Sobel流和主干網絡的特征，然后通過四個并行的不同比例的空洞卷積對特征圖進行處理，空洞卷積比例設置為{1,3,6,9}。

5.根據權利要求1所述一種基于SSIM差異圖的人臉偽造檢測與定位方法，其特征在于，通過輕量級的輔助Sobel流緩解視頻壓縮導致的偽影污染問題，Sobel流由三組圖像梯度增強模塊組成。所述圖像梯度增強模塊包含依次設置的深度卷積層、Sobel濾波層、逐點卷積層以及連接深度卷積層和逐點卷積層的殘差操作。

6.根據權利要求2所述一種基于SSIM差異圖的人臉偽造檢測與定位方法，其特征在于，解碼器利用相鄰層聚合模塊以及空洞卷積模塊輸出的特征集合自底向上的還原篡改區(qū)域。為降低解碼器的參數量，在解碼器中，特征圖的降維全部由1×1的卷積層來完成，且僅使用雙線性插值完成上采樣。

7.根據權利要求2所述一種基于SSIM差異圖的人臉偽造檢測與定位方法，其特征在于，該方法對應的網絡模型在訓練中的損失函數包含兩部分：交叉熵損失和篡改定位損失；其中，篡改定位損失為輔助預測篡改定位圖的損失，篡改定位損失表示為：

其中，H＝{H_hi，H_mid，H_lo，H_DCM}表示由高、中、低層級以及空洞卷積模塊輸出特征圖集合，D(·)表示解碼器，S表示標簽圖。