[發(fā)明專利]一種基于面部語義內(nèi)容分解領(lǐng)域泛化框架的深度偽造檢測(cè)算法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211224568.2
• 申請(qǐng)日: 2022-10-09
• 公開（公告）號(hào): CN116343279A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設(shè)計(jì)）人: 張瑞梅;劉漢卿;王宏霞
• 申請(qǐng)（專利權(quán)）人: 四川大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V20/40;G06V10/42;G06V10/44;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 成都盈信專利代理事務(wù)所(普通合伙) 51245
• 代理人: 張澎

1.一種基于面部語義內(nèi)容分解領(lǐng)域泛化框架的深度偽造檢測(cè)算法，在深度偽造檢測(cè)中構(gòu)造了基于面部語義內(nèi)容分解領(lǐng)域泛化框架，以解決單一數(shù)據(jù)域中面部語義信息過度擬合從而導(dǎo)致所學(xué)習(xí)的模型泛化性能差的問題；通過基于面部語義內(nèi)容分解的雙分支特征提取器提取更局部且共享的痕跡特征；基于最大均值差異的非對(duì)稱對(duì)齊約束模塊對(duì)齊多個(gè)源域的特征分布，結(jié)合基于最大均值差異的非對(duì)稱對(duì)齊約束損失與分類損失計(jì)算總損失，訓(xùn)練并獲得目標(biāo)基于面部語義內(nèi)容分解的領(lǐng)域泛化框架模型FDDG，包括以下主要步驟：

步驟1：獲取現(xiàn)有公開的多個(gè)深度偽造數(shù)據(jù)集，這些數(shù)據(jù)集是由不同的篡改方式生成的，且每個(gè)數(shù)據(jù)集中均具有視頻的真?zhèn)螛?biāo)簽與領(lǐng)域所屬標(biāo)簽；將該深度偽造數(shù)據(jù)集中的任一數(shù)據(jù)集作為待測(cè)的目標(biāo)域，將目標(biāo)域以外的數(shù)據(jù)集作為訓(xùn)練所用的源域；對(duì)所述目標(biāo)域和源域中數(shù)據(jù)進(jìn)行包括人臉檢測(cè)、裁剪、對(duì)齊的預(yù)處理操作；

步驟2：構(gòu)建基于面部語義內(nèi)容分解的雙分支特征提取器FD-DBN，將步驟1預(yù)處理過的深度偽造數(shù)據(jù)集中的源域數(shù)據(jù)集饋入到FD-DBN中，其中K代表源域中數(shù)據(jù)集的個(gè)數(shù)，上標(biāo)i代表源域中某一數(shù)據(jù)集的序號(hào)；具體處理方法是，一方面，采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)整張人臉進(jìn)行編碼，提取全局特征，另一方面，通過對(duì)角線方向人臉圖像塊置亂模塊DCSM分解人臉圖像，并采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)分解后的人臉圖像進(jìn)行編碼，提取局部特征，最后，通過基于坐標(biāo)注意力機(jī)制的融合模塊CAFM融合上述提取的全局與局部特征，獲得各源域數(shù)據(jù)特征集

步驟3：

3.1通過具有真實(shí)特征聚集約束RFC與域內(nèi)-域間三元組約束ICT的基于最大均值差異的非對(duì)稱對(duì)齊約束模塊MAAC，對(duì)由步驟2提取的各源域數(shù)據(jù)特征集FT_s進(jìn)行分布適配，計(jì)算基于最大均值差異的非對(duì)稱對(duì)齊約束損失

3.2由常規(guī)深度偽造真?zhèn)畏诸惸K將步驟2提取的各源域數(shù)據(jù)特征集FT_s結(jié)合真?zhèn)螛?biāo)簽計(jì)算分類損失

步驟4：結(jié)合步驟3中所述與計(jì)算總損失通過反向傳播訓(xùn)練基于面部語義內(nèi)容分解的領(lǐng)域泛化框架模型；獲得目標(biāo)基于面部語義內(nèi)容分解的領(lǐng)域泛化框架模型FDDG；

步驟5：采用步驟4訓(xùn)練獲得的目標(biāo)基于面部語義內(nèi)容分解的領(lǐng)域泛化框架模型FDDG提取待測(cè)目標(biāo)域數(shù)據(jù)特征并計(jì)算預(yù)測(cè)分?jǐn)?shù)p，若p0.5，則認(rèn)定待測(cè)數(shù)據(jù)為真，反之則為假，從而完成深度偽造人臉視頻的檢測(cè)。

2.如權(quán)利要求1所述的一種基于面部語義內(nèi)容分解領(lǐng)域泛化框架的深度偽造檢測(cè)算法，其特征在于步驟2中，所述對(duì)角線方向人臉圖像塊置亂模塊DCSM采用如下工作機(jī)制：

(1)對(duì)于給定人臉圖像I，將其均勻地劃分為N×N個(gè)不重疊的子塊，我們采用一個(gè)大小為N×N的矩陣A來表示所有子塊的序列，其中A(h,w)＝(h,w)，h,w∈{1,…,N}；

(2)采用基于對(duì)角線方向上的交叉置亂機(jī)制對(duì)矩陣A進(jìn)行置亂，之亂后的矩陣A′表示為：

其中，F(xiàn)表示一個(gè)副對(duì)角線元素均為1，其他元素均為0的大小為N×N的變換矩＝陣，可表示為：

(3)將原圖像按照所述(2)中的變換方式進(jìn)行圖像塊序列的置亂，之亂后的圖像I′可以表示為：