[發明專利]一種共享可更新的Deepfake視頻內容監管方法及系統

在審

• 申請號: 202110792697.0
• 申請日: 2021-07-14
• 公開（公告）號: CN113537042A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 毛典輝;趙爽;郝治昊;李海生;左敏;蔡強
• 申請（專利權）人: 北京工商大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/34;G06K9/46;G06K9/62;H04L29/06;H04N21/234;H04N21/2743
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明涉及一種共享可更新的Deepfake視頻內容監管方法及系統，其方法包括：步驟S1：將Deepfake視頻輸入預處理模塊，提取視頻關鍵幀并截取人臉圖像作為訓練樣本；步驟S2：提取訓練樣本的空域與頻域特征，將特征信息輸入SVM分類模型進行訓練，得到初始的內容監管模型；步驟S3：基于區塊鏈技術建立共享可更新策略，并設計激勵機制收集新的有效的Deepfake視頻數據；步驟S4：收集樣本數量達到閾值后，對初始模型進行更新訓練，更新后對樣本貢獻者共享Deepfake視頻內容檢測方法并等待下一次更新。本發明可以實現Deepfake視頻內容檢測方法的共享，并對其進行持續性更新，有效消除了Deepfake視頻數據集樣本不平衡問題，解決了過擬合問題，從而提高了內容監管模型的泛化能力。

技術領域

本發明涉及機器學習和互聯網內容監管領域，具體涉及一種共享可更新的Deepfake視頻內容監管方法及系統。

背景技術

隨著人工智能技術的發展，基于深度學習的深度偽造技術日趨成熟，通過多媒體篡改工具可以對視頻中的人臉進行隨意的篡改，并且幾乎無法被肉眼察覺。伴隨著短視頻新型內容的傳播方式的興起，Deepfake視頻傳播速度加快、傳播范圍增大，可能被利用從事危害國家安全、侵犯他人合法權益等法律法規禁止的活動，對社會穩定造成不良影響。2019年12月，國家互聯網信息辦公室、文化和旅游部、國家廣播電視總局聯合印發《網絡音視頻信息服務管理規定》，規定強調“網絡音視頻信息服務提供者應當部署應用非真實音視頻鑒別技術，發現音視頻信息服務基于深度學習、虛擬現實等的虛假圖像、音視頻生成技術制作、發布、傳播信息內容的，應采取警示整改、限制功能、暫停更新、關閉賬號等處置措施，保存有關記錄，并向網信、文化和旅游、廣播電視等部門報告”。因此，網絡音視頻信息中存在的Deepfake視頻成為互聯網內容監管中不可或缺的重要部分。

目前，深度偽造人臉檢測技術主流的研究方向大致分為兩類：基于視頻幀幀內差異的檢測方法與基于視頻幀幀間差異的檢測方法。基于幀內差異的檢測方法著重于從人臉面部的細節特征差異出發，而忽略了深度偽造視頻的上下文信息；基于視頻幀間差異的檢測方法依賴于提取的關鍵幀數量，如果視頻過短則檢測效果大幅下降。同時，因未考慮到深度偽造生成技術也在不斷地更新升級，當前已有的檢測方法依賴特定的數據集和生成算法，當新的Deepfake視頻內容來源于新型的深度偽造技術或者不包含特定數據集的樣本時，部分檢測方法準確率會降低甚至檢測方法失效，即模型出現過擬合問題。

因此，在互聯網環境下圖像質量存在較大差異的現實境況，除了考慮內容監管模型檢測準確率與檢測效率，如何提高模型的泛化能力也成為Deepfake視頻檢測的重要研究方向。

發明內容

為了解決上述技術問題，本發明提供一種共享可更新的Deepfake視頻內容監管方法及系統。

本發明技術解決方案為：一種共享可更新的Deepfake視頻內容監管方法，包括：

步驟S1：將Deepfake視頻輸入預處理模塊，提取視頻關鍵幀并截取人臉圖像作為訓練樣本；

步驟S2：提取訓練樣本的空域與頻域特征，將特征信息輸入SVM分類模型進行訓練，得到初始的內容監管模型；

步驟S3：基于區塊鏈技術建立共享可更新策略，并設計激勵機制收集新的有效的Deepfake視頻數據；

步驟S4：收集樣本數量達到閾值后，對初始模型進行更新訓練，更新后對樣本貢獻者共享Deepfake視頻內容檢測方法并等待下一次更新。

本發明與現有技術相比，具有以下優點：

1、本發明利用片段的方法提取視頻的關鍵幀，基于直方圖差異進行邊緣檢測后，通過二次篩選進行自適應閾值的邊界幀的判斷，并依據片段內幀的變化程度來決定關鍵幀的數量；進而對關鍵幀進行人臉識別并裁剪出正方形人臉圖像，從而在信息噪聲較大的視頻數據中獲取集合程度更高的人臉圖像樣本。