[發(fā)明專利]基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110717852.2
• 申請(qǐng)日: 2021-06-28
• 公開(kāi)（公告）號(hào): CN113283393B
• 公開(kāi)（公告）日: 2023-07-25
• 發(fā)明（設(shè)計(jì)）人: 王金偉;張玫瑰
• 申請(qǐng)（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V40/16;G06V10/80;G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京鐘山專利代理有限公司 32252
• 代理人: 上官鳳棲

1.一種基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法，其特征在于，包括以下步驟：

步驟1：提取待檢測(cè)視頻的關(guān)鍵幀組成圖像組；

步驟2：將圖像組的首幀輸入兩流網(wǎng)絡(luò)中的空間流提取空間信息作為空間特征；

步驟3：將圖像組的剩余幀分別與首幀差分以獲取差圖，并組成差圖序列輸入兩流網(wǎng)絡(luò)中的時(shí)間流提取幀間不一致性作為時(shí)間特征；

步驟4：將提取到的空間特征和時(shí)間特征融合，利用動(dòng)態(tài)路由算法評(píng)估視頻的真實(shí)性；

其中，所述兩流網(wǎng)絡(luò)包括空間流和時(shí)間流；所述空間流由預(yù)訓(xùn)練的ResNet50網(wǎng)絡(luò)的第一序列到第五序列的部分和主膠囊網(wǎng)絡(luò)構(gòu)成，用于提取空間特征；所述時(shí)間流由空間金字塔池化網(wǎng)絡(luò)和GRU網(wǎng)絡(luò)構(gòu)成，用于提取時(shí)間特征；所述空間特征作為輔助信息賦值給GRU網(wǎng)絡(luò)的隱狀態(tài)；所述GRU網(wǎng)絡(luò)用于分析時(shí)間相干性；所述兩流網(wǎng)絡(luò)采用Adam優(yōu)化算法訓(xùn)練，損失函數(shù)采用交叉熵?fù)p失函數(shù)，其表達(dá)式如下，

其中，L為損失值，y與分別表示樣本標(biāo)簽與預(yù)測(cè)標(biāo)簽。

2.如權(quán)利要求1所述的一種基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法，其特征在于，在所述步驟1中，以固定尺寸裁剪獲取視頻幀中的人臉區(qū)域圖像，對(duì)相鄰幀間的人臉區(qū)域圖像進(jìn)行差分，根據(jù)幀間差分的平均強(qiáng)度提取人臉區(qū)域變化最大的10幀人臉區(qū)域圖像作為關(guān)鍵幀，并按時(shí)序組成圖像組以表示該段視頻。

3.如權(quán)利要求2所述的一種基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法，其特征在于，所述幀間差分法的計(jì)算公式如下，

absDiff_i＝F_i-F_i-1，

其中，F(xiàn)_i、F_i-1分別表示第i幀的人臉區(qū)域圖像與第i-1幀的人臉區(qū)域圖像，absDiff_i表示第i幀人臉區(qū)域圖像與第i-1幀人臉區(qū)域圖像的差分；所述幀間差分的平均強(qiáng)度的計(jì)算表達(dá)式如下，

其中，absDiff_i(x,y)為absDiff_i坐標(biāo)(x,y)處的數(shù)值，width、height分別表示人臉區(qū)域圖像的寬與高，diffMean_i表示第i幀人臉區(qū)域圖像與第i-1幀人臉區(qū)域圖像差分的平均強(qiáng)度。

4.如權(quán)利要求1所述的一種基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法，其特征在于，所述主膠囊網(wǎng)絡(luò)的膠囊結(jié)構(gòu)相同，包括二維卷積層、統(tǒng)計(jì)池層和一維卷積層，其中統(tǒng)計(jì)池層用于計(jì)算每個(gè)卷積核的均值和方差；所述均值的計(jì)算表達(dá)式如下，

方差的計(jì)算表達(dá)式如下，

其中，μ_k表示第k層卷積核的均值，I_kij表示第k層卷積核(i,j)處的數(shù)值，W、H分別表示卷積核的寬和高，表示第k層卷積核的方差。

5.如權(quán)利要求1所述的一種基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法，其特征在于，所述空間金字塔池化網(wǎng)絡(luò)的輸出為一維特征向量，特征向量的長(zhǎng)度length由金字塔層數(shù)N決定，其中系數(shù)3為差圖的維度。

6.如權(quán)利要求1所述的一種基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法，其特征在于，所述步驟3中的差圖表示為

Diff_m-1＝F_m-F₁,m＝2,…,10，

其中，Diff_m-1表示第m-1個(gè)差圖，F(xiàn)_m與F₁分別表示圖像組中的第m幀與首幀。

7.如權(quán)利要求1所述的一種基于圖像組與兩流網(wǎng)絡(luò)的Deepfake視頻檢測(cè)方法，其特征在于，在所述步驟4中，將空間特征與時(shí)間特征拼接融合通過(guò)動(dòng)態(tài)路由算法傳遞至數(shù)字膠囊網(wǎng)絡(luò)；所述數(shù)字膠囊網(wǎng)絡(luò)的輸出向量經(jīng)softmax后取均值得到最終的網(wǎng)絡(luò)輸出向量表示視頻為Deepfake視頻的概率，表示視頻為真實(shí)視頻的概率，若則網(wǎng)絡(luò)預(yù)測(cè)標(biāo)簽待檢測(cè)視頻為Deepfake視頻，若則網(wǎng)絡(luò)預(yù)測(cè)標(biāo)簽待檢測(cè)視頻為真實(shí)視頻。