[發(fā)明專利]一種共享可更新的Deepfake視頻內(nèi)容監(jiān)管方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110792697.0
• 申請(qǐng)日: 2021-07-14
• 公開（公告）號(hào): CN113537042A
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 毛典輝;趙爽;郝治昊;李海生;左敏;蔡強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 北京工商大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/34;G06K9/46;G06K9/62;H04L29/06;H04N21/234;H04N21/2743
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種共享可更新的Deepfake視頻內(nèi)容監(jiān)管方法，其特征在于，包括：

步驟S1：將Deepfake視頻輸入預(yù)處理模塊，提取視頻關(guān)鍵幀并截取人臉圖像作為訓(xùn)練樣本；

步驟S2：提取訓(xùn)練樣本的空域與頻域特征，將特征信息輸入SVM分類模型進(jìn)行訓(xùn)練，得到初始的內(nèi)容監(jiān)管模型；

步驟S3：基于區(qū)塊鏈技術(shù)建立共享可更新策略，并設(shè)計(jì)激勵(lì)機(jī)制收集新的有效的Deepfake視頻數(shù)據(jù)；

步驟S4：收集樣本數(shù)量達(dá)到閾值后，對(duì)初始模型進(jìn)行更新訓(xùn)練，更新后對(duì)樣本貢獻(xiàn)者共享Deepfake視頻內(nèi)容檢測方法并等待下一次更新。

2.根據(jù)權(quán)利要求1所述的共享可更新的Deepfake視頻內(nèi)容監(jiān)管方法，其特征在于，所述步驟S1，將Deepfake視頻輸入預(yù)處理模塊，提取視頻關(guān)鍵幀并截取人臉圖像作為訓(xùn)練樣本，包括：

步驟S11：將樣本視頻逐幀進(jìn)行直方圖繪制，并按照下述公式(1)計(jì)算幀與幀之間的差值保存為D；

其中，d(i)表示為圖像的直方圖數(shù)據(jù)，i表示為當(dāng)前幀內(nèi)的像素塊序號(hào)，k表示為幀內(nèi)的像素塊總數(shù)量，p，q表示為視頻圖像相鄰幀幀序號(hào)；

步驟S12：依據(jù)兩次篩選進(jìn)行自適應(yīng)閾值的邊界幀的判斷。首先，設(shè)定窗口重疊次數(shù)為3，其中窗口大小為13幀，步長為10。定義M幀為當(dāng)前窗口內(nèi)D最大的幀，并應(yīng)同時(shí)滿足與上一個(gè)M幀的距離大于最小片段長度；其次，M幀應(yīng)同時(shí)滿足下述公式(2)，match(M)＝true時(shí)，表示當(dāng)前M幀為片段邊界幀；

其中，M′表示為當(dāng)前幀的上一M幀，表示為兩個(gè)幀之間幀的D的平均值，Multiplier被定義為預(yù)設(shè)期望倍數(shù)；

步驟S13：依據(jù)視頻中邊界幀劃分片段，并計(jì)算所有片段內(nèi)的幀的找出片段內(nèi)幀的D大于平均值的倍數(shù)的幀標(biāo)記為關(guān)鍵幀，否則選擇片段的中間幀作為關(guān)鍵幀；

步驟S14：對(duì)關(guān)鍵幀基于CNN網(wǎng)絡(luò)shape_predictor_68_face_landmarks進(jìn)行人臉識(shí)別，并裁剪調(diào)整出入臉及周邊正方形區(qū)域作為訓(xùn)練樣本數(shù)據(jù)。

3.根據(jù)權(quán)利要求2所述的共享可更新的Deepfake視頻內(nèi)容監(jiān)管方法，其特征在于，所述步驟S2：提取訓(xùn)練樣本的空域與頻域特征，將特征信息輸入SVM分類模型進(jìn)行訓(xùn)練，得到初始的內(nèi)容監(jiān)管模型，包括：

步驟S21：對(duì)訓(xùn)練樣本M*N按照二維離散傅里葉變換計(jì)算表示二維功率譜，并將其定義為P(u，v)；其次，將二維的傅里葉頻譜圖按照從低頻到高頻的順序，由內(nèi)向外劃分為K個(gè)區(qū)間，依據(jù)公式(3)計(jì)算第i個(gè)矩形環(huán)內(nèi)累加和。并按照公式(4)進(jìn)行歸一化處理，其結(jié)果為訓(xùn)練樣本的頻域特征；

其中，ζ_i表示第i個(gè)矩形環(huán)內(nèi)能量，Ψ_i表示第i個(gè)矩形環(huán)內(nèi)能量與總能量之比。因此，圖像的二維頻譜圖能量特征向量定義為ζ_f＝[ζ₁，ζ₂，...，ζ_K]，頻譜圖能量占比特征向量定義為Ψ_f＝[Ψ₁，Ψ₂，...，Ψ_K]；

步驟S22：對(duì)訓(xùn)練樣本M*N進(jìn)行n級(jí)小波分解得到樣本圖像小波特征值，并依據(jù)每個(gè)特征值的頻帶信號(hào)進(jìn)行分析，每個(gè)參數(shù)表示為一個(gè)特征向量空間，各參數(shù)值的維數(shù)即HSV空間的維數(shù)，即該特征空間的基，最終提取得到圖像HSV模型的多維小波特征向量。依據(jù)公式(5)計(jì)算所有子帶系數(shù)得到均值、方差和偏斜度，其結(jié)果為訓(xùn)練樣本的空域特征；

其中μ，σ，ω分別表示全部子帶系數(shù)的均值、方差和偏斜度；N表示全部計(jì)算機(jī)生成圖像小波特征樣本數(shù)量；x表示計(jì)算機(jī)生成圖像的小波特征；

步驟S23：將一維頻域特征與多維空域特征級(jí)聯(lián)融合，并對(duì)其進(jìn)行歸一化處理，得到的多維全局紋理特征信息作為真?zhèn)螆D像的鑒別特征；

步驟S24：依據(jù)鑒別特征將樣本數(shù)據(jù)集輸入SVM分類器進(jìn)行訓(xùn)練，得到初始的內(nèi)容監(jiān)管模型。