[發明專利]一種篡改人臉視頻檢測方法

有效

• 申請號: 201911376257.6
• 申請日: 2019-12-27
• 公開（公告）號: CN111144314B
• 公開（公告）日: 2020-09-18
• 發明（設計）人: 張勇東;尚志華;謝洪濤;鄧旭冉;李巖
• 申請（專利權）人: 北京中科研究院;中國科學技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;鄭哲

1.一種篡改人臉視頻檢測方法，其特征在于，包括：

將人臉視頻數據解碼為一組連續的幀圖像，并截取每一幀圖像的人臉區域，按照幀序號對應保存為人臉圖片；

通過特征提取器提取每一人臉圖片的特征，獲得對應的特征圖；

將連續兩幀的特征圖，同時輸入至幀間相關性分類器，采用注意力機制將兩幀的特征圖融合在一起后進行分類，分類結果為輸入的兩幀被篡改的概率；

其中，所述由幀間相關性分類器采用注意力機制將兩幀的特征圖融合在一起包括：

將連續兩幀的特征圖記為A與B，求兩個特征圖之間的相關矩陣Cor，通過兩個特征圖中特征向量兩兩之間的相似度計算：Cor＝A×B^T；

通過變形相關矩陣Cor，得到特征圖A和B各自對應的相關矩陣為：R_A＝reshape(Cor，N×N×N²)，R_B＝reshape(Cor^T，N×N×N²)；其中，reshape(X，SHAPE)表示將X的尺寸變換為SHAPE，X＝Cor，Cor^T，X的尺寸為N²×N²，SHAPE＝N×N×N²；其中，N×N表示特征的空間尺寸；

將R_A與R_B各自輸入至注意力模塊，生成對應的注意力掩膜M_A與M_B，再計算：A_T＝(M_A+1)×A，B_T＝(M_B+1)×B；然后，將A_T與B_T在特征維度上拼接在一起。

2.根據權利要求1所述的一種篡改人臉視頻檢測方法，其特征在于，通過通用的opencv或者ffmpeg工具包，將人臉視頻數據解碼為一組連續的幀圖像；通過python中開源的Dlib工具庫，截取每一幀圖像的人臉區域，不同幀圖像中人臉區域的尺寸相同或者不同。

3.根據權利要求1所述的一種篡改人臉視頻檢測方法，其特征在于，所述通過特征提取器提取每一人臉圖片的特征，獲得對應的特征圖包括：

所述特征提取器選擇Xception網絡實現；

特征提取器的末端添加有自適應池化層，用于將任意尺寸的特征圖根據統一尺度劃分為不同區域，并求每一個區域中的平均值，從而獲得統一尺度的特征圖；

設定特征圖的尺度為N×N×M，其中，N×N表示特征的空間尺寸，M表示特征空間中每一個點的特征向量維度。

4.根據權利要求1所述的一種篡改人臉視頻檢測方法，其特征在于，所述注意力模塊包括依次連接的三個卷積層，三個卷積層均使用padding＝1，填充值為0，每一卷積層后面均連接了批正則化層，而且除了最后一個卷積層外，均在批正則化層后連接了ReLu激活層；

最后一個卷積層的輸出經過批正則化層后與輸入的相關矩陣相加，再通過ReLu激活層，得到相應的掩膜。

5.根據權利要求1所述的一種篡改人臉視頻檢測方法，其特征在于，兩幀的特征圖融合結果通過幀間相關性分類器中分類器進行分類；所述分類器包括：依次連接的三個卷積層以及末端的全連接層；兩幀的特征圖融合結果輸入后，依次通過三個卷積層的處理輸入至全連接層，全連接層的輸出維度為1，之后，通過sigmod函數得到輸入的兩幀被篡改的概率。

6.根據權利要求1所述的一種篡改人臉視頻檢測方法，其特征在于，特征提取器與幀間相關性分類器組成深度神經網絡，訓練過程中，損失函數為：

其中，s為輸入的兩幀被篡改的概率；

使用如下任一種訓練方式：

第一種：訓練過程中，分別將連續兩幀作為輸入計算損失，并反向傳播；訓練完成后，對于測試視頻，每輸入連續兩幀后，計算被篡改的概率，最終得到K-1個被篡改的概率，并根據K-1個被篡改的概率的平均值判斷是否來自篡改視頻，其中，K表示測試視頻的幀數量；

第二種：訓練過程中，將連續兩幀作為輸入，計算被篡改的概率，并對一批訓練樣本中計算出的最大被篡改的概率計算損失，再反向傳播；訓練完成后，對于測試視頻，每輸入連續兩幀后，計算被篡改的概率，最終得到K-1個被篡改的概率，并根據被篡改的概率的最大值判斷是否來自篡改視頻。