[發明專利]一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法

在審

• 申請號: 202110823054.8
• 申請日: 2021-07-21
• 公開（公告）號: CN113570564A
• 公開（公告）日: 2021-10-29
• 發明（設計）人: 趙才榮;王楚天
• 申請（專利權）人: 同濟大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/00;G06N3/04;G06N3/08
• 代理公司: 上海科律專利代理事務所(特殊普通合伙) 31290
• 代理人: 葉鳳

一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法，包括以下步驟：使用OpenCV庫，對需要檢測的視頻逐幀提取幀圖像，并由后續步驟進行逐幀識別；使用人臉檢測模型，對幀圖像進行人臉檢測步驟，獲取一個或數個包含了人臉及小范圍背景信息的圖像，稱為人臉圖像；使用事先訓練好的三路卷積神經網絡模型，首先對人臉圖像進行卷積處理，得到對應的特征后使用全連接神經網絡進行預測，得到人臉圖像為偽造的概率，最后通過對多路網絡的預測結果進行求和處理并對比概率值得到該人臉是否為偽造的標簽。本發明主要針對通過對抗生成網絡及自編碼器生成的偽造圖片，使用多路卷積網絡進行檢測，具備較高的準確率和較好的對抗壓縮的魯棒性。

技術領域

本發明涉及計算機視覺技術領域，特別涉及偽造人臉視頻檢測技術。

背景技術

在偽造人臉視頻檢測的相關領域，目前主要是采用基于卷積神經網絡或是循環神經網絡的方法。其中，卷積神經網絡主要用于單幀級別的檢測，基于目標視頻幀中人臉圖像的紋理特征、邊緣特征等偽造特征進行檢測；而循環神經網絡主要用于視頻級別的檢測，基于目標視頻幀序列中人臉圖像的幀間連續性，動作連貫性進行檢測。但這些技術對于互聯網上廣泛傳播的經不同程度壓縮的低清偽造視頻效果不佳，即對抗和壓縮的魯棒性較差。

發明內容

本發明要解決的技術問題是克服現有技術的缺陷，提供一種基于多路卷積網絡的多清晰度偽造人臉視頻的檢測方法。

為解決上述技術問題，本發明提供了如下的技術方案：

S1：使用OpenCV庫，對需要檢測的視頻逐幀提取幀圖像，并由后續步驟進行逐幀識別；

S2：使用人臉檢測模型，對幀圖像進行人臉檢測步驟，獲取一個或數個包含了人臉及小范圍背景信息的圖像，稱為人臉圖像；

S3：使用事先訓練好的三路卷積神經網絡模型，首先對人臉圖像進行卷積處理，得到對應的特征后使用全連接神經網絡進行預測，得到人臉圖像為偽造的概率。最后通過對多路網絡的預測結果進行求和處理并對比概率值得到該人臉是否為偽造的標簽。

其中步驟S1中包含以下：

S1.1：實例化OpenCV的VideoCapture類打開目標視頻，并調用VideoCapture.read方法讀取目標視頻中的每一幀；

S1.2：由于OpenCV使用BGR顏色通道順序，調用Numpy庫的transpose方法將視頻幀轉化為RGB顏色通道；

步驟S2中包含以下：

S2.1：使用人臉檢測模型得到每一個目標人臉框在視頻幀中的左上和右下頂點坐標(x1,y1)，(x2,y2)；

S2.2：基于坐標點裁剪視頻幀，得到包含了目標人臉和部分背景的圖像，稱為人臉圖像；

S2.3：將人臉圖像伸縮為300×300大小，以便輸入檢測模型；

步驟S3的卷積網絡具備以下特征：

S3.1：網絡包含三個分支，在訓練時分別使用原始人臉圖像、2×2切塊打亂及3×3切塊打亂的人臉圖像進行訓練；

S3.2：網絡包含了一個拼圖求解模塊，該模塊將人臉隨機打亂的模式視為一個需要求解的拼圖，并使用1×1卷積網絡預測該打亂模式，該預測結果的損失被用作對抗損失訓練骨干網絡；

S3.3：網絡在訓練時每次迭代同時輸入人臉圖像的高清及低清版本，兩者經過骨干網絡計算得到的特征圖基于知識蒸餾計算蒸餾損失并進行訓練；

S3.4：網絡包含了一個清晰度預測模塊，該模塊基于圖像經過骨干網絡的特征向量預測該特征向量來自的人臉圖像為高清或低清版本，該預測結果與真實結果的交叉熵損失作為對抗損失訓練骨干網絡。