[發(fā)明專利]一種基于圖像頻域信息的深度偽造視頻技術(shù)溯源方法

在審

• 申請?zhí)枺?/td>: 202210586229.2
• 申請日: 2022-05-27
• 公開（公告）號: CN115188039A
• 公開（公告）日: 2022-10-14
• 發(fā)明（設(shè)計(jì)）人: 王磊;潘進(jìn);張翠;柳毅;郎林龍;冷彪
• 申請（專利權(quán)）人: 國家計(jì)算機(jī)網(wǎng)絡(luò)與信息安全管理中心
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/10;G06V10/764;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 安麗

本發(fā)明涉及一種基于圖像頻域信息的深度偽造視頻技術(shù)溯源方法，對輸入深度偽造視頻進(jìn)行抽幀；將抽出的圖像利用RetinaFace人臉檢測模型檢測人臉圖像，并進(jìn)行人臉對齊和縮放；將裁出的人臉圖像利用離散余弦傅里葉變換，裁剪算法和離散余弦傅里葉反變換獲得其對應(yīng)的高頻頻域特征；將原始人臉RGB信息和高頻頻域信息進(jìn)行特征融合，得到融合特征；采用Xception作為主干網(wǎng)絡(luò)進(jìn)一步提取融合特征，得到對應(yīng)的分類特征實(shí)現(xiàn)深度偽造視頻技術(shù)溯源結(jié)果。本發(fā)明提高了對不同偽造技術(shù)的分類能力，提高了溯源準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于圖像頻域信息的深度偽造視頻技術(shù)溯源方法，屬于深度學(xué)習(xí)領(lǐng)域和計(jì)算機(jī)視覺領(lǐng)域。

背景技術(shù)

近些年，計(jì)算機(jī)視覺技術(shù)和深度神經(jīng)網(wǎng)絡(luò)技術(shù)得到飛速發(fā)展。尤其是神經(jīng)網(wǎng)絡(luò)模型中的生成式對抗網(wǎng)絡(luò)(GAN)和變分自編碼器(VAE)的發(fā)展，讓圖像和視頻的生成取得了驚人的效果。2017年，一名國外論壇用戶利用生成式對抗網(wǎng)絡(luò)(GAN)偽造了一段以假亂真的視頻，并發(fā)布到了網(wǎng)絡(luò)上，由此該技術(shù)被人們稱為深度偽造技術(shù)(Deepfake)。

具體來說，深度偽造技術(shù)主要是對人臉部分的偽造或編輯。現(xiàn)有的深度偽造技術(shù)主要可分為四類：重現(xiàn)，替換，編輯和生成。重現(xiàn)是使用原始人臉的行為去驅(qū)動(dòng)目標(biāo)人臉，使目標(biāo)人臉?biāo)鞯男袨楹驮既四樝嗤Ｌ鎿Q是指將目標(biāo)人臉與原始人臉進(jìn)行替換。編輯則是改變目標(biāo)人臉的屬性，例如，更換目標(biāo)人臉的年齡，性別，膚色等。生成是通過生成式對抗網(wǎng)絡(luò)(GAN)創(chuàng)建完整的現(xiàn)實(shí)中不存在的人臉。

深度偽造技術(shù)提出早期，制作一段深度偽造視頻需要制作者擁有相關(guān)的專業(yè)知識和大量的計(jì)算資源。但隨著深度偽造技術(shù)的發(fā)展，一些易用的手機(jī)或者電腦軟件出現(xiàn)在互聯(lián)網(wǎng)中，使得沒有相關(guān)專業(yè)知識和計(jì)算資源的普通大眾也能使用電腦和手機(jī)輕松制作出高質(zhì)量的深度偽造視頻。而且由于缺少有效的篩選和審查機(jī)制，導(dǎo)致目前互聯(lián)網(wǎng)上存在著大量的深度偽造視頻。一些制作精良的偽造視頻不僅專業(yè)人士無法準(zhǔn)確鑒別，普通民眾則是更加難以分辨視頻的真?zhèn)涡裕尤菀资艿絺卧煲曨l的誤導(dǎo)和傷害。在重大事件或敏感問題上，深度偽造視頻可能會造成嚴(yán)重的不良影響。因此，對深度偽造視頻進(jìn)行技術(shù)溯源，精確確認(rèn)其制作技術(shù)或軟件可以幫助工作人員從源頭阻斷偽造視頻的傳播，避免對社會造成不良影響。

現(xiàn)有針對深度偽造技術(shù)溯源的研究較少，目前的方法主要采用手工特征(如共生矩陣)或采用深度學(xué)習(xí)模型提取特征進(jìn)行技術(shù)溯源。僅采用手工提取特征進(jìn)行技術(shù)溯源，其提取特征固定，往往不能充分利用深度偽造圖像中的偽造信息。深度學(xué)習(xí)模型則傾向于學(xué)習(xí)圖像中的高級語義信息，不同深度偽造方法所生成的偽造人臉其高級語義信息(如人臉形狀，人臉大小等)是極為相似的。因此僅采用深度學(xué)習(xí)模型對深度偽造進(jìn)行技術(shù)溯源效果不理想。深度卷積網(wǎng)絡(luò)在上采樣過程中會不可避免的在圖像中留下棋盤狀偽影，該棋盤狀偽影會造成圖像高頻信息的改變。而不同的偽造方法所采用不同的模型結(jié)構(gòu)及訓(xùn)練參數(shù)，其生成的棋盤偽影也各不相同，在頻域上留下的偽造痕跡具有更明顯的差異。

因此，目前現(xiàn)有技術(shù)是單一原始圖像中不同偽造方法偽造信息相似，使得溯源準(zhǔn)確率不高。

發(fā)明內(nèi)容

本發(fā)明技術(shù)要解決的問題是：克服現(xiàn)有技術(shù)的不足，提供一種基于圖像頻域信息的深度偽造視頻技術(shù)溯源方法，使用頻域信息對原始圖像信息進(jìn)行補(bǔ)充，將圖像特征和頻域特征經(jīng)過一種融合方法進(jìn)行融合，得到融合特征，用于深度偽造技術(shù)溯源模型對不同偽造方法進(jìn)行分類。相比手工特征方法和僅深度學(xué)習(xí)方法其深度偽造技術(shù)溯源準(zhǔn)確率得到大大提高。

本發(fā)明采用的技術(shù)方案：一種基于圖像頻域信息的深度偽造視頻技術(shù)溯源方法，包括以下步驟：

步驟1：將輸入深度偽造視頻分解為視頻幀并抽幀，得到抽取后的視頻幀；

步驟2：對步驟1抽取的視頻幀應(yīng)用RetinaFace模型進(jìn)行人臉檢測，若視頻幀中的幀圖像存在人臉，則得到在該所述幀圖像中人臉關(guān)鍵點(diǎn)坐標(biāo)，將該所述幀圖像中的人臉關(guān)鍵點(diǎn)坐標(biāo)進(jìn)行仿射變換與標(biāo)準(zhǔn)人臉關(guān)鍵點(diǎn)坐標(biāo)對齊和縮放，然后將對齊縮放后的人臉區(qū)域裁剪得到RGB人臉圖像；