[發明專利]一種融合噪聲感知的深度偽造圖像檢測方法及系統

在審

• 申請號: 202210486246.9
• 申請日: 2022-05-06
• 公開（公告）號: CN114677372A
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 丁昕苗;劉延武;郭文;李國軍;龐帥
• 申請（專利權）人: 山東工商學院
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06T5/10;G06K9/62;G06N3/04;G06N3/08;G06V10/80;G06V10/82
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本公開屬于機器視覺技術領域，具體涉及一種融合噪聲感知的深度偽造圖像檢測方法及系統，包括：獲取待檢測圖像；根據所獲取的待檢測圖像和雙重注意力計算，提取RGB流的特征，得到圖像多尺度增強特征；對所獲取的待檢測圖像進行噪聲域特征的提取，根據所得到的圖像多尺度增強特征和所提取到的噪聲域特征，得到圖像噪聲流特征；將所得到的圖像的噪聲流特征和所提取到的RGB流的特征進行雙流特征融合，得到圖像雙流融合增強特征；根據所得到的圖像雙流融合增強特征和局部一致性計算，完成圖像的偽造檢測。

技術領域

本公開屬于機器視覺技術領域，具體涉及一種融合噪聲感知的深度偽造圖像檢測方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

深度偽造(Deepfake)是指利用生成式對抗網絡等深度學習方法將源視頻中的人臉替換目標人臉來制造虛假音視頻信息。由于這類技術可以生成肉眼難以分辨的高質量偽造視頻，很容易被不法分子濫用并帶來嚴重的社會影響。因此，對深度偽造信息檢測的研究是視覺領域的一個重要方向。

目前，各種深度偽造檢測方法層出不窮，可通過手工特征來檢測偽造人臉，如不一致的頭部姿勢、心跳節奏或眼睛眨動等。隨著深度學習方法的廣泛應用，研究人員開始探索利用深度神經網絡捕捉偽造圖像空間域的高層語義特征以提升檢測效果。

據發明人了解，部分深度偽造算法利用圖像壓縮后處理算法破壞偽影，使其無法在顏色空間中被檢測到，但是仍然會在高頻信息中留下篡改痕跡。為了提高檢測模型的魯棒性，噪聲信息作為一種高頻信息被引入到了偽造圖像檢測中。真實人臉在所有分塊上具有連貫性，而偽造人臉是由不同人臉融合而成，因而會在某些位置產生不一致性信息。因此，在圖像通用檢測領域內用于檢測圖像復制移動或復制粘貼操作的一致性學習概念被引入深度偽造檢測領域中。一致性學習通常采用計算局部相似度的方法衡量圖像各個分塊之間的相似度，以檢測圖像空間域的一致性。

上述方法雖然可以較好的解決深度偽造檢測的問題，但是仍然存在以下問題限制了其性能的提升：

(1)基于卷積神經網絡的檢測方法往往傾向于關注偏好的顯著區域，難以捕捉其他不明顯但又具有可區分度的偽影，容易產生過擬合現象。

(2)當前深度偽造檢測中引入的高頻噪聲特征大都是通過手工提取出來的，在應對一些經過后處理的偽造視頻時缺少一定的靈活性，適應性較差。

(3)基于局部相似度特征的深度偽造檢測方法由于忽略了同樣包含判別性信息的全局特征，限制了提取判別性特征的能力。

發明內容

為了解決上述問題，本公開提出了一種融合噪聲感知的深度偽造圖像檢測方法及系統，針對現有的深度偽造檢測算法不能充分的提取判別性特征而導致的準確率低、泛化性差等問題，構建了一種融合噪聲感知的漸進式多尺度深度偽造檢測模型，基于所構建的檢測模型實現圖像檢測，提高了檢測精度和泛化能力。

根據一些實施例，本公開的第一方案提供了一種融合噪聲感知的深度偽造圖像檢測方法，采用如下技術方案：

一種融合噪聲感知的深度偽造圖像檢測方法，包括：

獲取待檢測圖像；

根據所獲取的待檢測圖像和雙重注意力計算，提取RGB流的特征，得到圖像多尺度增強特征；

對所獲取的待檢測圖像進行噪聲域特征的提取，根據所得到的圖像多尺度增強特征和所提取到的噪聲域特征，得到圖像噪聲流特征；

將所得到的圖像的噪聲流特征和所提取到的RGB流的特征進行雙流特征融合，得到圖像雙流融合增強特征；

根據所得到的圖像雙流融合增強特征和局部一致性計算，完成圖像的偽造檢測。