[發明專利]基于3DMM軟生物特征的深度偽造視頻檢測方法及系統

在審

• 申請號: 202110207575.0
• 申請日: 2021-02-25
• 公開（公告）號: CN112818915A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 胡永健;陳香全;劉琲貝;王宇飛;余翔宇
• 申請（專利權）人: 華南理工大學;中新國際聯合研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

本發明公開了一種基于3DMM軟生物特征的深度偽造視頻檢測方法及系統，該方法包括下述步驟：視頻預處理，選取人臉圖像幀并輸入至3DMM模型提取得到形狀、紋理、表情與姿態四種特征向量；構建面部行為特征提取網絡，提取人物特定面部行為特征；構建度量學習損失函數，訓練面部行為特征提取網絡；構建外貌特征提取模塊；基于人物身份信息構建面部行為特征參考集和外貌特征參考集；提取待檢測人物視頻的面部行為特征與外貌特征，與參考集特征向量進行相似度匹配；設定外貌特征相似度閾值，并利用特征匹配一致性進行真假分類。本發明利用軟生物特征對深度偽造視頻進行檢測，適用于特定重要人物，具有較高的檢測準確度。

技術領域

本發明涉及人臉檢測識別技術領域，具體涉及一種基于3DMM軟生物特征的深度偽造視頻檢測方法及系統。

背景技術

深度偽造指的是使用深度學習技術對人臉進行篡改，將源視頻人臉替換目標視頻人臉，同時保留目標人臉的表情信息，生成逼真的深度偽造人臉視頻。由于深度偽造人臉視頻可能會被濫用于違法行為，因此研究針對深度偽造視頻的檢測技術具有十分重要的意義。

現有大多數深度偽造視頻檢測技術只是檢測像素尺度上的偽造痕跡來判別視頻真假，如視覺偽影，幾何形變等，忽視了深度偽造視頻所隱含的生物特征信息。此外，現有大多數深度偽造視頻檢測技術只停留在二維層面去獲取人臉特征，無法有效的表現人臉的深度信息與姿態信息。因此難以滿足跨庫檢測準確率的需求，存在泛化能力較弱等問題。

發明內容

為了克服現有技術存在的缺陷與不足，本發明提供一種基于3DMM軟生物特征的深度偽造視頻檢測方法，本發明利用3DMM模型檢測深度偽造視頻人物所展現的面部行為與外貌不一致性，有效提高網絡模型的泛化能力。

本發明的第二目的在于提供一種基于3DMM軟生物特征的深度偽造視頻檢測系統。

本發明的第三目的在于提供一種存儲介質。

本發明的第四目的在于提供一種計算設備。

為了達到上述目的，本發明采用以下技術方案：

本發明提供一種基于3DMM軟生物特征的深度偽造視頻檢測方法，包括下述步驟：

視頻預處理，選取多張人臉圖像幀；

將選取的人臉圖像幀輸入至3DMM模型，提取得到3DMM人臉參數化特征向量，包括形狀、紋理、表情和姿態特征向量；

構建面部行為特征提取網絡，將所述表情與姿態特征向量拼接后作為面部行為特征訓練集，輸入所述面部行為特征提取網絡；

構建度量學習損失函數，訓練所述面部行為特征提取網絡，訓練完成后保存網絡權重；

構建外貌特征提取模塊，將所述形狀與紋理特征向量進行拼接，取拼接后特征向量時間維度上的平均值作為外貌特征；

基于人物身份信息構建面部行為特征參考集和外貌特征參考集；

提取待檢測人物視頻的面部行為特征與外貌特征，與面部行為特征參考集和外貌特征參考集的特征向量進行相似度匹配，得到外貌特征相似度最大的人物標簽和面部行為特征相似度最大的人物標簽；

設定外貌特征相似度閾值，若外貌特征對應人物標簽與面部行為特征對應人物標簽一致，且計算得到的外貌余弦相似度大于等于外貌特征相似度閾值時，則判定測試視頻為真，否則為假。

作為優選的技術方案，所述選取多張人臉圖像幀，具體采用連續選取或間隔選取方式，并采用人臉識別算法檢測人臉區域，裁剪人臉區域圖像，采用雙線性插值統一調整大小。

作為優選的技術方案，所述3DMM模型利用人臉數據庫先構造一個平均人臉形變模型，作為基礎模型，修改參數使人臉模型發送形變，人臉模型表示為：