[發(fā)明專利]一種基于改進(jìn)孿生網(wǎng)絡(luò)用于檢測篡改人臉視頻和圖像的方法

在審

• 申請?zhí)枺?/td>: 202110309489.0
• 申請日: 2021-03-23
• 公開（公告）號: CN112990031A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 李育才;王波;宋增人
• 申請（專利權(quán)）人: 大連理工大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06T7/11;G06T7/194
• 代理公司: 大連智高專利事務(wù)所(特殊普通合伙) 21235
• 代理人: 馬慶朝

一種基于改進(jìn)孿生網(wǎng)絡(luò)用于檢測篡改人臉視頻和圖像的方法，屬于計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域。技術(shù)方案：S1、預(yù)處理模塊Pre?processing，將圖像的人臉區(qū)域和背景區(qū)域裁剪出來，分別得到人臉圖像塊和背景圖像塊；S2、特征提取模塊Feature extraction，使用改進(jìn)的孿生網(wǎng)絡(luò)提取圖像特征，得到人臉圖像塊和背景圖像塊的灰度空間特征；S3、特征對齊模塊Feature alignment，使用特征拼接的方法對其灰度空間特征進(jìn)行拼接，并進(jìn)行分類得到預(yù)測標(biāo)簽Y；S4、使用投票原則修正分類,得到結(jié)果標(biāo)簽Yt。該方法采用改進(jìn)的孿生網(wǎng)絡(luò)，提取圖像人臉區(qū)域和背景區(qū)域的特征，然后度量他們的相似度，根據(jù)相似度的高低來最終進(jìn)行真?zhèn)螆D像的分類。同時(shí)，提出的一種投票原則來修正最后的分類結(jié)果，使得結(jié)果更加精準(zhǔn)。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)圖像處理技術(shù)領(lǐng)域，尤其涉及一種基于改進(jìn)孿生網(wǎng)絡(luò)用于檢測篡改人臉視頻和圖像的方法。

背景技術(shù)

近年來，隨著科學(xué)技術(shù)的發(fā)展，社交媒體和短視頻平臺迅速崛起，占據(jù)了人們大部分的娛樂時(shí)間。越來越多的人喜歡在各種社交媒體和短視頻平臺上分享自己日常生活的圖像和視頻。這些圖像和視頻會在網(wǎng)絡(luò)上迅速傳播，成為人們互相交流和分享信息的主要載體。然而，圖像篡改技術(shù)尤其是人臉圖像篡改技術(shù)為圖像以及視頻的傳播帶來了一定的負(fù)面影響。被篡改之后的人臉圖像和視頻可能被應(yīng)用于不正當(dāng)?shù)哪康模缜迷p勒索，通過面部信息非法獲取公民個(gè)人隱私和財(cái)產(chǎn)，傳播負(fù)面消息甚至制作低俗視頻。一些重要政治名人的視頻被操縱后，甚至有可能嚴(yán)重?fù)p害國家和社會安全。被篡改的圖像和視頻的廣泛傳播也會降低公民對新聞媒體行業(yè)的信任度，使公眾更容易受到陰謀論的影響。因此，對于篡改人臉圖像和視頻的檢測擁有十分重要的現(xiàn)實(shí)意義和價(jià)值。

隨著深度學(xué)習(xí)和生成對抗網(wǎng)絡(luò)的快速發(fā)展，目前的人臉篡改技術(shù)已經(jīng)非常成熟，主要的篡改方法有Deepfake，F(xiàn)ace2Face，F(xiàn)aceswap和Neural Textures。

Deepfake基于兩個(gè)具有共享編碼器的自動編碼器，分別對源人臉和目標(biāo)人臉的訓(xùn)練圖像進(jìn)行重構(gòu)。然后將經(jīng)過源人臉訓(xùn)練的編碼器和解碼器應(yīng)用到目標(biāo)人臉上，生成一幅偽造圖像。然后使用泊松圖像編輯將自動編碼器的輸出與圖像的其余部分混合。Face2Face是一種面部重現(xiàn)系統(tǒng)，它將源視頻的表情傳輸?shù)侥繕?biāo)視頻，同時(shí)保持目標(biāo)人的身份。FaceSwap是一種基于計(jì)算機(jī)圖形學(xué)的方法，利用檢測出的人臉地標(biāo)，擬合一個(gè)3D人臉模型，該模型通過使用輸入圖像的紋理來最小化投影形狀和局部地標(biāo)之間的差異，將其反向投影到目標(biāo)圖像上生成偽造圖像。Neural Textures是利用表情遷移，修改目標(biāo)視頻的面部紋理映射圖，使其與源目標(biāo)的表情匹配從而生成偽造視頻的技術(shù)。盡管這些技術(shù)都依賴于先進(jìn)的圖像處理算法，但是現(xiàn)在已經(jīng)有了一些集成的軟件或程序框架，即使沒有專業(yè)知識的人也可以使用這些軟件或程序框架快速地處理人臉圖像，從而使偽造人臉變得容易和普遍。

為了對抗人臉圖像篡改帶來的危害和負(fù)面影響，人們已經(jīng)提出了多種方法來檢測篡改人臉圖像和視頻。目前主要有兩種檢測方法，一種是使用傳統(tǒng)的手工特征，另一種是使用神經(jīng)網(wǎng)絡(luò)提取特征。手工特征相比神經(jīng)網(wǎng)絡(luò)提取的特征更加清晰和健壯，可解釋性更強(qiáng)，能更好地利用圖像的細(xì)粒度信息。因此，這種方法在某些特定數(shù)據(jù)集上取得了較好的準(zhǔn)確性，但在較大的數(shù)據(jù)集上，神經(jīng)網(wǎng)絡(luò)的方法可以取得更好的效果。神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)到更多更豐富的圖像特征，而不像使用手工特征的方法那樣依賴于特定的特征。因此，這類方法受到了越來越多的重視和廣泛的應(yīng)用。偽造人臉的檢測可以看作是一項(xiàng)分類任務(wù)，檢測的準(zhǔn)確性取決于特征的選擇和分類器的選擇。所有檢測方法的過程大致可以分為特征提取和分類兩個(gè)階段。有一些方法將這兩個(gè)階段劃分為兩個(gè)獨(dú)立的子問題，另外一些方法以基于深度神經(jīng)網(wǎng)絡(luò)的端到端的方式將這兩個(gè)階段集成在了一起。在特征提取階段，主要有兩種特征選擇，一種是基于單幅圖像的特征，另一種是基于視頻幀間的特征。由于基于單個(gè)圖像特征的方法也可以用來判斷視頻的真?zhèn)危虼藢@類方法的研究較多。在分類階段，分類器的選擇主要有SVM、 CNN、RNN、MLP等，其中SVM和CNN應(yīng)用比較廣泛。