[發明專利]基于3DMM軟生物特征的深度偽造視頻檢測方法及系統

在審

• 申請號: 202110207575.0
• 申請日: 2021-02-25
• 公開（公告）號: CN112818915A
• 公開（公告）日: 2021-05-18
• 發明（設計）人: 胡永健;陳香全;劉琲貝;王宇飛;余翔宇
• 申請（專利權）人: 華南理工大學;中新國際聯合研究院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 李斌

1.一種基于3DMM軟生物特征的深度偽造視頻檢測方法，其特征在于，包括下述步驟：

視頻預處理，選取多張人臉圖像幀；

將選取的人臉圖像幀輸入至3DMM模型，提取得到3DMM人臉參數化特征向量，包括形狀、紋理、表情和姿態特征向量；

構建面部行為特征提取網絡，將所述表情與姿態特征向量拼接后作為面部行為特征訓練集，輸入所述面部行為特征提取網絡；

構建度量學習損失函數，訓練所述面部行為特征提取網絡，訓練完成后保存網絡權重；

構建外貌特征提取模塊，將所述形狀與紋理特征向量進行拼接，取拼接后特征向量時間維度上的平均值作為外貌特征；

基于人物身份信息構建面部行為特征參考集和外貌特征參考集；

提取待檢測人物視頻的面部行為特征與外貌特征，與面部行為特征參考集和外貌特征參考集的特征向量進行相似度匹配，得到外貌特征相似度最大的人物標簽和面部行為特征相似度最大的人物標簽；

設定外貌特征相似度閾值，若外貌特征對應人物標簽與面部行為特征對應人物標簽一致，且計算得到的外貌余弦相似度大于等于外貌特征相似度閾值時，則判定測試視頻為真，否則為假。

2.根據權利要求1所述的基于3DMM軟生物特征的深度偽造視頻檢測方法，其特征在于，所述選取多張人臉圖像幀，具體采用連續選取或間隔選取方式，并采用人臉識別算法檢測人臉區域，裁剪人臉區域圖像，采用雙線性插值統一調整大小。

3.根據權利要求1所述的基于3DMM軟生物特征的深度偽造視頻檢測方法，其特征在于，所述3DMM模型利用人臉數據庫先構造一個平均人臉形變模型，作為基礎模型，修改參數使人臉模型發送形變，人臉模型表示為：

其中，S表示人臉形狀，T表示紋理，為平均人臉形狀，A_id為形狀PCA主成分，α_id為形狀參數，A_exp為表情PCA主成分，α_exp為表情參數，為平均紋理，A_tex為紋理PCA主成分，α_tex為紋理參數，

所述形狀特征向量即維度為i；

所述紋理特征向量即維度為t；

所述表情特征向量即維度為e；

所述姿態特征向量即三維姿態角度

4.根據權利要求1所述的基于3DMM軟生物特征的深度偽造視頻檢測方法，其特征在于，所述面部行為特征提取網絡基于神經網絡ResNet-34，將神經網絡ResNet-34最后一層全連接層輸出為512維，獲取512維的面部行為特征

5.根據權利要求1所述的基于3DMM軟生物特征的深度偽造視頻檢測方法，其特征在于，所述度量學習損失函數具體表示為：

其中，m為批樣本數量128，為正例對樣本集合，為負例對樣本集合，S_ik為樣本對之間的余弦相似度，α，β，λ為超參數。

6.根據權利要求1所述的基于3DMM軟生物特征的深度偽造視頻檢測方法，其特征在于，所述基于人物身份信息構建面部行為特征參考集和外貌特征參考集，具體步驟包括：

收集特定身份人物的不同角度、不同場景下面部視頻，并通過面部行為特征提取網絡與外貌特征提取模塊，構建基于人物身份信息的面部行為特征參考集和外貌特征參考集。