[發明專利]一種指定場景下深度偽造視頻識別方法

在審

• 申請號: 202010955588.1
• 申請日: 2020-09-11
• 公開（公告）號: CN112200001A
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 楊理想;王云甘;張僑;王銀瑞;暴利花
• 申請（專利權）人: 南京星耀智能科技有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京中律知識產權代理事務所(普通合伙) 32341
• 代理人: 沈振濤

1.一種指定場景下深度偽造視頻識別方法，其特征在于：具體的步驟為

步驟1對場景深度偽造視頻中的目標與非目標利用掩膜區域卷積神經網絡方法進行檢測分割并進行識別；

步驟2基于視覺特征提取的算法對裝備目標和背景分別進行視覺特征提取；

步驟3采用基于場景中目標尺度的不一致性對偽造視頻進行識別；

步驟4采用高斯混合模型–通用背景模型對不同裝備進行聲音識別，通過音頻信息的匹配情況判斷視頻真偽。

2.根據權利要求1所述指定場景下深度偽造視頻識別方法，其特征在于：步驟1中，是基于卷積神經網絡對目標物體的特征進行學習，得到特征表達，采用掩膜區域卷積神經網絡方法對場景中的目標進行檢測分割并進行識別的，依次進行采用殘差網絡-特征金字塔網絡的架構特征提取、加一個掩膜預測分支進行分割預測，其中預測時設置為掩碼和類標簽的預測方式。

3.根據權利要求2所述指定場景下深度偽造視頻識別方法，其特征在于：采用掩膜區域卷積神經網絡方法具體步驟為：

(1)通過區域推薦網絡區域推薦網絡生成候選區域；

(2)目標區域對齊使用雙線性插值來獲得每個塊對應的特征；

(3)利用目標區域對齊之后的頭部分，擴大目標區域對齊的輸出維度；

(4)按照每一個類都輸出一張輸出預測圖，進行輸出K個掩碼預測圖，并采用平均二元交叉熵損失訓練，K為正整數；

(5)對于目標框的坐標和目標類別，使用和快速區域卷積神經網絡相同的損失函數進行訓練，其中掩碼區域卷積神經網絡的訓練損失函數：

L_final＝L_cls+L_box+L_mask

其中，L_cls為分類損失函數，L_box為回歸損失函數，L_mask為分割損失函數。

(6)通過最后的三個分支的輸出，在掩碼區域卷積神經網絡預測目標的類別、目標的邊界框和目標的掩碼；

(7)根據目標類別，將目標與背景物體區分開來。

4.根據權利要求1所述指定場景下深度偽造視頻識別方法，其特征在于：步驟2中采用視覺特征提取算法進行裝備目標和背景的視覺特征提取，其中采用深度可分離卷積代替原始算法里的卷積操作，并且設置殘差學習的結構來加快收斂速度。

5.根據權利要求4所述指定場景下深度偽造視頻識別方法，其特征在于：步驟2中，提取視覺特征后，接著對抽取出來的特征進行雙線性變換后，使用二分類方法判斷裝備和圖像背景之間紋理是否一致，進行偽造視頻識別。

6.根據權利要求5所述指定場景下深度偽造視頻識別方法，其特征在于：步驟2中，還包括將人臉檢測場景應用到場景中，模型先通過運動放大來增強目標微動作，然后提取方向光流直方圖和動態紋理特征來捕獲目標幀間差異，基于目標幀間不一致性來判斷視頻是否偽造。

7.根據權利要求1所述指定場景下深度偽造視頻識別方法，其特征在于：步驟3中基于通過掩碼區域卷積神經網絡方法獲取到目標的類別和邊框，對不同目標之間的比例進行對比，具體為：

(1)構建多組指定場景中目標和非指定場景中目標的尺寸數據庫；

(2)采用Canny算法進行邊緣檢測和基于霍夫曼變換的直線識別，基于識別出的直線延長線的交互點，找出透視焦點，依據透視原理，將物體的尺寸進行矯正；

(3)針對指定場景偽造視頻中的目標需要通過這些標準數據進行校驗比較。

8.根據權利要求1所述指定場景下深度偽造視頻識別方法，其特征在于：步驟4中，對不同裝備進行聲音識別的具體步驟為：

(1)在訓練階段，首先對發動機聲音進行預處理之后，提取出發動機聲音的梅爾頻率倒譜系數特征；

(2)然后用部分聲音訓練統一背景模型，構建通用背景模型模型；

(3)再通過最大后驗準則訓練來得到在通用背景模型的每個高斯分量上進行自適應得到高斯混合模型-通用背景模型，其中采用自適應方法是映射自適應算法；

(4)在識別階段，把待測試語音的特征，與訓練好的高斯混合模型-通用背景模型結構模型匹配，最終的輸出評分為高斯混合模型和通用背景模型的輸出評分之差。