[發(fā)明專利]一種面向人臉偽造視頻檢測的精細化特征融合方法

有效

• 申請?zhí)枺?/td>: 202010736565.1
• 申請日: 2020-07-28
• 公開（公告）號: CN111967344B
• 公開（公告）日: 2023-06-20
• 發(fā)明（設(shè)計）人: 夏志華;費建偉;顧飛;余佩鵬
• 申請（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V40/40;G06V10/26;G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 南京經(jīng)緯專利商標代理有限公司 32200
• 代理人: 周科技

本發(fā)明公開了一種面向人臉偽造視頻檢測的精細化特征融合方法，涉及模式識別領(lǐng)域，方法包括：對真假人臉視頻進行幀分解，將視頻格式文件轉(zhuǎn)化為連續(xù)的圖像幀序列；對連續(xù)圖像幀序列進行人臉位置檢測，調(diào)整檢測結(jié)果使人臉框中包含背景；對每一幀圖像剪裁人臉框，得到人臉圖像訓(xùn)練集，訓(xùn)練EfficientNet?B0模型；從人臉圖像序列中隨機選取連續(xù)的N幀，輸入EfficientNet?B0模型得到特征圖組；將特征圖組分解為獨立的特征圖，將相同通道的特征圖按照原序列順序重新堆疊得到新的特征圖組并進行二次特征提取，得到特征向量，連接到單個神經(jīng)元，以sigmoid為激活函數(shù)進行最終的視頻片段真假分類。本發(fā)明既保留了空域信息，又充分提取時域信息，有效地提高偽造檢測精度。

技術(shù)領(lǐng)域

本發(fā)明涉及模式識別技術(shù)領(lǐng)域，尤其涉及一種面向人臉偽造視頻檢測的精細化特征融合方法。

背景技術(shù)

近年來，隨著網(wǎng)絡(luò)通訊技術(shù)的飛速發(fā)展，信息傳播的速度和范圍得到了極大地提升，短時間內(nèi)可以影響到上億人，因此傳播信息的真?zhèn)物@得尤為重要。虛假的信息會擾亂社會治安，影響民眾對社會的信任度。其中，偽造視頻是一種新型的偽造信息的方式，特別是對于人臉的偽造。人臉作為身份認證的重要信息，具有先天的便利性和唯一性，民眾的潛意識會更加相信以人臉作為身份標識的信息。盡管偽造視頻上存在技術(shù)難關(guān)，早期的人臉偽造還可以通過肉眼看出端倪。但隨著深度學(xué)習(xí)的快速發(fā)展，通過基于深度學(xué)習(xí)的偽造技術(shù)，偽造的視頻細節(jié)處理的能力有了指數(shù)級的飛躍。這使得人臉偽造視頻變得更加真實，并且越來越難以被肉眼區(qū)分。這些技術(shù)在實現(xiàn)人臉替換的同時，可以充分擬合人臉的面部表情及特征細節(jié)，不僅可以替換人臉，還可以控制其面部表情變化。不法分子通過這些技術(shù)，將視頻傳播到社會上可以獲取大量的流量關(guān)注，同時賺取巨大的利潤，給個人造成極大的名譽損失，影響社會和諧發(fā)展。不僅僅如此，利用該技術(shù)甚至可能危害國家安全。在這種技術(shù)面前，如何保護個人隱私，如何保證視頻的真實性和法律效益，都將成為目前亟待解決的問題。

發(fā)明內(nèi)容

發(fā)明目的：為了防止人臉偽造視頻帶來負面影響，本發(fā)明提出一種面向人臉偽造視頻檢測的精細化特征融合方法。利用該方法可以更加精確的捕捉到真假人臉特征在時域上的差異，提高人臉偽造視頻檢測的精度。

技術(shù)方案：為實現(xiàn)本發(fā)明的目的，本發(fā)明所采用的技術(shù)方案是：

一種面向人臉偽造視頻檢測的精細化特征融合方法，包括如下步驟：

(1)獲取包含真假人臉視頻的數(shù)據(jù)集，對數(shù)據(jù)集中的真假人臉視頻進行幀分解，將視頻格式文件轉(zhuǎn)化為連續(xù)的圖像幀序列；

(2)對步驟(1)獲得的連續(xù)圖像幀序列進行人臉位置檢測，調(diào)整檢測結(jié)果使人臉框中包含一定面積的背景；對每一幀圖像剪裁人臉框，得到連續(xù)的人臉圖像序列數(shù)據(jù)集；

(3)將步驟(2)得到的人臉圖像序列數(shù)據(jù)集作為人臉圖像訓(xùn)練集，使用該訓(xùn)練集數(shù)據(jù)訓(xùn)練深度卷積網(wǎng)絡(luò)EfficientNet?B0模型；

(4)從步驟(2)得到的人臉圖像序列中隨機選取連續(xù)的N幀，依次輸入深度卷積網(wǎng)絡(luò)EfficientNet?B0模型，將網(wǎng)絡(luò)最后一個卷積層的輸出作為輸入幀的深度特征圖，對于連續(xù)的N幀人臉圖像，得到連續(xù)的N個深度特征圖構(gòu)成的特征圖組；

(5)將步驟(4)中得到的特征圖組分解為獨立的特征圖，將相同通道的特征圖按照原序列順序重新堆疊得到新的特征圖組；

(6)將步驟(5)中得到的新的特征圖組輸入一個權(quán)值共享的卷積層進行二次特征提取，該卷積層輸出一個特征向量，將該特征向量連接到單個神經(jīng)元，以sigmoid為激活函數(shù)進行最終的視頻片段真假分類。

進一步的，在步驟(2)中，使用MTCNN人臉檢測器對連續(xù)圖像幀序列進行人臉位置檢測，并對檢測結(jié)果進行調(diào)整，方法如下：

(2.1)使用MTCNN逐幀地對圖像幀序列進行人臉檢測，MTCNN得到3組返回值：