[發(fā)明專(zhuān)利]一種基于SSIM差異圖的人臉偽造檢測(cè)與定位方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210098425.5
• 申請(qǐng)日: 2022-01-19
• 公開(kāi)（公告）號(hào): CN114445891A
• 公開(kāi)（公告）日: 2022-05-06
• 發(fā)明（設(shè)計(jì)）人: 彭飛;張新林
• 申請(qǐng)（專(zhuān)利權(quán)）人: 湖南大學(xué)
• 主分類(lèi)號(hào): G06V40/16
• 分類(lèi)號(hào): G06V40/16;G06N3/04;G06N3/08
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

本發(fā)明公開(kāi)了一種基于SSIM差異圖的人臉偽造檢測(cè)與定位方法，包括：將原始人臉與偽造人臉的結(jié)構(gòu)相似度(SSIM)差異圖作為篡改定位的標(biāo)簽圖；通過(guò)具有殘差注意力的相鄰層聚合模塊從低層到高層特征圖中確定篡改區(qū)域，且其中的殘差注意力能幫助網(wǎng)絡(luò)更加關(guān)注篡改區(qū)域以減弱背景噪音的影響；通過(guò)空洞卷積模塊處理多尺度的篡改區(qū)域；通過(guò)輕量級(jí)的輔助Sobel流緩解視頻壓縮導(dǎo)致的偽影污染問(wèn)題，Sobel流由三組圖像梯度增強(qiáng)模塊組成。本發(fā)明能夠在檢測(cè)偽造人臉的同時(shí)定位篡改區(qū)域，此外，采用SSIM差異圖進(jìn)行多任務(wù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能夠進(jìn)一步提高檢測(cè)結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及人臉偽造檢測(cè)技術(shù)領(lǐng)域，特別涉及一種基于SSIM差異圖的人臉偽造檢測(cè)與定位方法。

背景技術(shù)

近期，換臉視頻帶來(lái)的社會(huì)問(wèn)題得到各界人士的廣泛關(guān)注。隨著深度學(xué)習(xí)的發(fā)展，合成媒體的視覺(jué)效果已經(jīng)達(dá)到肉眼難以辨別的地步，此外硬件的快速發(fā)展、社交媒體數(shù)據(jù)的海量增長(zhǎng)以及人臉編輯軟件的開(kāi)源和商業(yè)化也加劇了深度偽造的不可控性。由于深度偽造具備高度欺騙性，亟需研究相應(yīng)的反制措施以避免由此引發(fā)的一系列社會(huì)問(wèn)題。

當(dāng)前，一些用于區(qū)分真實(shí)視頻和合成視頻的方法被先后提出。根據(jù)檢測(cè)對(duì)象的差異，可分為基于數(shù)據(jù)驅(qū)動(dòng)的檢測(cè)方法，基于信號(hào)級(jí)偽影的檢測(cè)方法，以及基于異常生物信號(hào)的檢測(cè)方法。雖然上述針對(duì)深度偽造檢測(cè)的方法取得了較好的結(jié)果，但在深度偽造的篡改定位方面仍存在明顯的不足。主要原因包括：一是并非所有的數(shù)據(jù)集都提供了標(biāo)準(zhǔn)的標(biāo)簽圖，導(dǎo)致不同方法之間的量化評(píng)估難以進(jìn)行。差異-閾值法已成功用于篡改定位，但要找到一個(gè)適合不同數(shù)據(jù)集的通用閾值十分困難，且可能會(huì)破壞篡改區(qū)域完整性的同時(shí)增強(qiáng)不必要的背景噪音；二是不同尺度的篡改區(qū)域和篡改區(qū)域邊界內(nèi)外的顏色和紋理高度相似性使得篡改定位極具挑戰(zhàn)。這不僅要求網(wǎng)絡(luò)理解圖像的整體意義，還需要網(wǎng)絡(luò)關(guān)注局部細(xì)節(jié)。由于現(xiàn)有篡改定位網(wǎng)絡(luò)結(jié)構(gòu)沒(méi)有顯式地解決這些問(wèn)題，導(dǎo)致預(yù)測(cè)的篡改區(qū)域不準(zhǔn)確。

針對(duì)視頻壓縮導(dǎo)致的偽影污染，僅依靠空域信息，難以對(duì)真假人臉進(jìn)行有效的區(qū)分。目前主流的方法是通過(guò)變換域獲取高頻信息，例如：離散余弦變換，離散傅里葉變換以及SRM 濾波器等，然后結(jié)合空域進(jìn)行雙流學(xué)習(xí)。通常，兩個(gè)流具有相同數(shù)量的參數(shù)，并且需要前置處理，因此如何通過(guò)少量的計(jì)算并在卷積網(wǎng)絡(luò)內(nèi)部完成高頻信息的提取仍未探索。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種基于SSIM差異圖的人臉偽造檢測(cè)與定位方法。該方法能夠在檢測(cè)偽造人臉的同時(shí)定位篡改區(qū)域，此外，采用SSIM差異圖進(jìn)行多任務(wù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能夠進(jìn)一步提高檢測(cè)結(jié)果。

本發(fā)明的目的是通過(guò)以下技術(shù)方案實(shí)現(xiàn)的：

一種基于SSIM差異圖的人臉偽造檢測(cè)與定位方法，包括：

將原始人臉與偽造人臉的結(jié)構(gòu)相似度(SSIM)差異圖作為篡改定位的標(biāo)簽圖；

通過(guò)具有殘差注意力的相鄰層聚合模塊從低層到高層特征圖中確定篡改區(qū)域，且其中的殘差注意力能幫助網(wǎng)絡(luò)更加關(guān)注篡改區(qū)域以減弱背景噪音的影響；通過(guò)空洞卷積模塊處理多尺度的篡改區(qū)域；通過(guò)輕量級(jí)的輔助Sobel流緩解視頻壓縮導(dǎo)致的偽影污染問(wèn)題，Sobel流由三組圖像梯度增強(qiáng)模塊組成。

由上述本發(fā)明提供的技術(shù)方案可以看出，一方面，能夠在檢測(cè)偽造人臉的同時(shí)定位篡改區(qū)域。另一方面，通過(guò)精心設(shè)計(jì)，采用SSIM差異圖進(jìn)行多任務(wù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能夠進(jìn)一步提高檢測(cè)結(jié)果。

附圖說(shuō)明

為了更清楚地說(shuō)明本發(fā)明實(shí)施例的技術(shù)方案，下面將對(duì)實(shí)施例描述中所需要使用的附圖作簡(jiǎn)單地介紹，顯而易見(jiàn)地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對(duì)于本領(lǐng)域的普通技術(shù)人員來(lái)講，在不付出創(chuàng)造性勞動(dòng)的前提下，還可以根據(jù)這些附圖獲得其他附圖。

圖1為本發(fā)明實(shí)施例提供的一種基于SSIM差異圖的人臉偽造檢測(cè)與定位方法的網(wǎng)絡(luò)整體結(jié)構(gòu)圖；

圖2為本發(fā)明實(shí)施例提供的相鄰層聚合模塊與殘差注意力的示意圖；