[發明專利]視頻拷貝檢測方法及其系統

在審

• 申請號: 201811353711.1
• 申請日: 2018-11-14
• 公開（公告）號: CN109543735A
• 公開（公告）日: 2019-03-29
• 發明（設計）人: 石慧杰
• 申請（專利權）人: 北京工商大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06F16/73
• 代理公司: 北京律誠同業知識產權代理有限公司 11006
• 代理人: 黃韌敏;朱遠平

1.一種視頻拷貝檢測方法，其特征在于，所述方法包括以下步驟：

原始視頻數據集處理步驟，獲得具有多個視頻的所述原始視頻數據集，將所述提取原始視頻數據集劃分為訓練視頻集以及視頻數據庫，所述訓練視頻集中的所述視頻為第一視頻，所述視頻數據庫中的所述視頻為第二視頻，提取所述訓練視頻集的所有所述第一視頻的第一關鍵幀形成圖像訓練集，提取所述視頻數據庫的所有所述第二視頻的第二關鍵幀形成圖像數據庫；所述圖像訓練集中的第一關鍵幀為圖像標簽Y，將每張圖像標簽Y進行拷貝攻擊獲得每張所述圖像標簽Y對應的第一圖像X；

離線獲得深度特征提取模型步驟，構造深度特征提取模型的訓練模型，所述深度特征提取模型的訓練模型包括損失函數的損失值計算模型，將每張所述圖像標簽Y以及與其對應的每張所述第一圖像X輸入到所述深度特征提取模型的訓練模型中進行訓練至所述損失函數的損失值停止下降時，獲得所述深度特征提取模型；

獲得融合特征數據庫步驟，所述圖像數據庫中的第二關鍵幀為第二圖像，將每張所述第二圖像通過所述深度特征提取模型獲得每張所述第二圖像的第一深度特征；對所述圖像數據庫的每張第二圖像進行DCT變換，獲得每張所述第二圖像的第一DCT系數特征，將每張所述第二圖像的所述第一深度特征以及所述第一DCT系數特征進行融合，獲得每張所述第二圖像的第一融合特征；將所述圖像數據庫的每張所述第二圖像的所述第一融合特征保存為所述融合特征數據庫；

在線檢測查詢視頻步驟，提取所述查詢視頻的第三關鍵幀，將所述查詢視頻的第三關鍵幀通過所述深度特征提取模型獲得第二深度特征；對所述第三關鍵幀進行DCT變換，獲得所述第三關鍵幀的第二DCT系數特征，將所述第二深度特征以及所述第二DCT系數特征進行融合，獲得所述第三關鍵幀的第二融合特征；將每個所述第二融合特征與每個所述第一融合特征進行匹配計算，判斷所述視頻數據庫中的視頻是否為所述查詢視頻的拷貝源，若是，同時獲得所述查詢視頻在所述拷貝源中的位置。

2.根據權利要求1所述的方法，其特征在于，所述離線獲得深度特征提取模型步驟包括：構造深度特征提取模型的訓練模型，所述深度特征提取模型的訓練模型包括變分自編碼器神經網絡模型，所述變分自編碼器神經網絡模型包括使用深度卷積神經網絡作為基礎網絡的編碼器以及使用全連接神經網絡和反卷積神經網絡結構的解碼器；將每張所述圖像標簽Y以及與其對應的每張所述第一圖像X輸入到所述變分自編碼器神經網絡模型中，對每張所述圖像標簽Y以及與其對應的每張所述第一圖像X進行第一預處理；對所述編碼器以及所述解碼器的參數進行初始化，所述變分自編碼器神經網絡模型開始進行訓練，至所述損失函數的損失值停止下降時，獲得所述深度特征提取模型。

3.根據權利要求2所述的方法，其特征在于，所述編碼器提取圖像特征，所述編碼器的所述深度卷積神經網絡為ResNet-101網絡，所述編碼器由輸入層、隱藏層和輸出層構成，其中所述輸入層接收經過所述第一預處理的第一圖像X輸入，隱藏層由去除全連接層的所述ResNet-101網絡構成，所述輸出層包括兩個分別輸出m個高斯分布的均值和高斯分布的方差的對數的全連接層，所述輸出層輸出向量Z，所述向量Z的維度為m維，其中所述向量Z服從正態分布N(mean,exp^varlog)，在所述向量Z中加入服從正態分布N(0,1)的隨機噪聲ε，此時所述編碼器的輸出為：式中，mean為所述編碼器的所述輸出層輸出的高斯分布的均值，varlog為所述編碼器的所述輸出層輸出高斯分布的方差的對數；所述解碼器對所述編碼器提取的圖像特征進行解碼，所述解碼器的輸入為所述向量Z，解碼器輸出向量所述第一預處理為將每張所述圖像標簽Y以及與其對應的每張所述第一圖像X進行歸一化處理，將所述歸一化處理后的圖像標簽Y以及所述第一圖像X縮放到第一尺寸，將縮放到所述第一尺寸的圖像標簽Y以及所述第一圖像X轉換到RGB空間，并將所述轉換到RGB空間后的圖像標簽Y以及所述第一圖像X的像素值進行歸一化處理；所述損失函數為：式中，mean為所述編碼器的所述輸出層輸出的高斯分布的均值，varlog為所述編碼器的所述輸出層輸出高斯分布的方差的對數，Y為圖像標簽Y，為所述解碼器的輸出。