[發(fā)明專利]一種基于面部語義內容分解領域泛化框架的深度偽造檢測算法

在審

• 申請?zhí)枺?/td>: 202211224568.2
• 申請日: 2022-10-09
• 公開（公告）號: CN116343279A
• 公開（公告）日: 2023-06-27
• 發(fā)明（設計）人: 張瑞梅;劉漢卿;王宏霞
• 申請（專利權）人: 四川大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/42;G06V10/44;G06V10/764;G06V10/80;G06V10/82;G06N3/0464;G06N3/048;G06N3/084
• 代理公司: 成都盈信專利代理事務所(普通合伙) 51245
• 代理人: 張澎

本發(fā)明公開了一種基于面部語義內容分解領域泛化框架的深度偽造檢測算法，涉及圖像被動取證領域。針對現(xiàn)有的基于深度學習的深度偽造檢測算法會對某一源域中面部語義信息過度擬合從而導致所學習的模型泛化性能差的問題做出針對性解決。具體來說，構建基于面部語義內容分解的雙分支特征提取器，以提取更局部、細微且共享的痕跡特征；此外，引入領域泛化框架，構建基于最大均值差異的非對稱對齊約束模塊，通過對齊多個源域的特征分布，以學習到一個共享的特征空間與決策邊界，可以用于未知目標域的檢測。該本發(fā)明能夠有效地提升深度偽造檢測的準確率，具有實際應用價值。

技術領域

本發(fā)明涉及圖像處理和取證技術領域，尤其涉及一種基于領域泛化的深度偽造人臉檢測算法。

背景技術

深度偽造視頻檢測已成為信息安全領域多媒體取證技術的一個亟待解決的問題?，F(xiàn)有的深度偽造被動取證算法主要分為基于傳統(tǒng)手工特征與基于數(shù)據(jù)驅動兩類算法。其中，基于傳統(tǒng)手工特征的算法是通過提取由篡改操作所帶來的與自然圖像不一致的統(tǒng)計特征、生物信號特征等實現(xiàn)的，然而這類檢測算法僅在一些早期的數(shù)據(jù)集上表現(xiàn)出較好的檢測能力，隨著生成模型的不斷成熟與生成算法對于明顯偽影的重點消除，這類檢測算法的檢測能力大大減弱。相比之下，基于深度學習的數(shù)據(jù)驅動算法，通過卷積神經(jīng)網(wǎng)絡或循環(huán)神經(jīng)網(wǎng)絡自適應地提取圖像和視頻中存在的偽影特征，可以更有效地進行深度偽造的視頻檢測。具體的過程是搜集大量的深度偽造數(shù)據(jù)集，將其全部饋入到特定的神經(jīng)網(wǎng)絡(例如ResNet、Xception、Transformer等)中，鼓勵網(wǎng)絡自適應地學習訓練集的特征分布，以實現(xiàn)檢測模型在目標數(shù)據(jù)集上的精準預測。然而，現(xiàn)有的基于數(shù)據(jù)驅動的檢測算法所提取到圖像的高維特征是高度數(shù)據(jù)集偏移的，即對訓練集過擬合，造成預訓練的模型在未知的數(shù)據(jù)集中檢測性能差，即檢測模型泛化性差?！禩hinking?in?frequency:Face?forgerydetection?by?mining?frequency-aware?clues》(Qian?Y,Yin?G,Sheng?L,etal.Thinking?in?frequency:Face?forgery?detection?by?mining?frequency-awareclues[C]//European?Conference?on?Computer?Vision.Springer,vol.12357,pp.86-103,2020)通過學習深度偽造圖像數(shù)據(jù)與自然真實圖像之間的頻域特征差異，有效地提升模型在域內的檢測能力，但這種方式是關注于某一數(shù)據(jù)域中真實與偽造的頻域差異，一旦將所學習的模型應用于其他數(shù)據(jù)域則檢測能力大幅度下降。Qian?Y,Yin?G,Sheng?L,etal.Thinking?in?frequency:Face?forgery?detection?by?mining?frequency-awareclues[C]//European?conference?on?computer?vision.Springer,Cham,2020:86-103.《Improving?the?Efficiency?and?Robustness?of?Deepfakes?Detection?throughPrecise?Geometric?Features》一文中提出現(xiàn)有的深度偽造視頻生成過程中未對幀與幀之間的一致性做針對性處理，因此通過學習真實與偽造視頻在幀與幀之間面部關鍵點的連續(xù)性之間的差異來實現(xiàn)深度偽造的檢測，這類算法同樣學習的是某一種數(shù)據(jù)域上的時域特征，在跨域檢測中效果極差。而在現(xiàn)實應用中，給定一個待檢測的視頻，是無法獲知其具體的篡改方式的，這極大地限制了基于深度學習檢測算法的應用，因而如何提升檢測模型的泛化能力至關重要?？偟膩砜?，現(xiàn)有的基于深度學習的深度偽造檢測算法大都是通過設計一個基于卷積神經(jīng)網(wǎng)絡的特征提取器，提取單一源域的特定特征，所學習到的特征不可避免地會過度擬合該源域特有的痕跡，根據(jù)卷積神經(jīng)網(wǎng)絡會關注紋理豐富區(qū)域的特有屬性，所關注的面部區(qū)域一般為眼睛、鼻子、嘴巴等局部語義信息，且針對不同的源域，用于判斷真?zhèn)蔚膮^(qū)域是不一致的，導致在單一源域訓練得到的模型在其他未知的目標域中檢測性能較差。

發(fā)明內容

本發(fā)明的目的在于解決上述局限性，提供一種基于面部語義內容分解的域泛化網(wǎng)絡框架，用于提升深度偽造檢測模型的泛化性，使之能克服現(xiàn)有技術的以上不足。