[發明專利]一種基于卷積及循環神經網絡的視頻拷貝檢測系統及方法

在審

• 申請號: 201810600019.8
• 申請日: 2018-06-12
• 公開（公告）號: CN108985165A
• 公開（公告）日: 2018-12-11
• 發明（設計）人: 路小波;胡耀聰
• 申請（專利權）人: 東南大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務所(普通合伙) 32204
• 代理人: 柏尚春

本發明公開了一種基于卷積及循環神經網絡的視頻拷貝檢測系統，該系統包括5個模塊，分別為數據集建立模塊、幀特征提取模塊、時空特征訓練模塊、循環網絡測試模塊和拷貝視頻匹配模塊，其中時空特征訓練模塊還包括視頻剪輯模塊和循環網絡訓練模塊。本發明采用殘差卷積神經網絡有利于提取更深層次的幀級特征表示，有效的提高檢測準確率，降低檢測召回率，采用孿生循環神經網絡以融合多個幀級特征，利用幀間的動態信息生成時空特征表示，實現了序列間的時空融合，使得視頻匹配耗費時間少、占用內存低。

技術領域

本發明涉及一種視頻拷貝檢測系統及方法，具體涉及一種基于卷積及循環神經網絡的視頻拷貝檢測系統及方法。

背景技術

隨著網絡多媒體技術的發展，網絡視頻數據呈海量式增長，大量的視頻數據在互聯網上公開。互聯網使用者可以在Youtube或者MetaCafe上搜索不同類型的視頻如政治、娛樂、體育等。盡管在線視頻使得網絡使用者可以獲得全球最新的信息，但是也存在一些潛在的風險。盜版商可以輕松的剽竊或篡改在線的原始視頻以賺取非法收入。因此，基于視頻分析的拷貝檢測技術對于網絡安全和版權保護具有極其重要的意義。

在早期的視頻版權保護任務中，水印或者數字標簽被作為補充信息插入到視頻流中，以用于拷貝檢測。隨著計算機視覺技術的發展，目前基于內容的拷貝檢測方法逐步取代了傳統的數字水印技術。這類方法通過提取視頻中的內容信息作為特征表示而不再需要向原始視頻中添加冗余信息。而這類方法在視頻拷貝檢測任務中的效果主要取決于兩個方面：

(1)如何提取視頻中單幀圖像的內容信息。

(2)如何組合連續多個單幀圖像的內容信息，并將幀與幀的信息進行融合以生成時空特征表示。

在基于內容的視頻拷貝檢測問題中，目前常用傳統特征和深度學習特征這兩種特征表示方式。

(1)基于傳統特征的視頻拷貝檢測方法：使用稀疏采樣的方法組合視頻中多個關鍵幀的單幀特征表示用于視頻匹配。但是尺度不變特征變換描述子SIFT對旋轉、光照等變化較為敏感，因此這種很難檢測出經過某些篡改的拷貝視頻。另外稀疏的關鍵幀采樣策略忽略了視頻中幀間的動態信息，導致檢測結果準確性下降。

(2)基于深度學習特征的視頻拷貝檢測方法：有人提出使用AlexNet卷積神經網絡端到端的提取視頻中單幀圖像的特征表示，接著稠密的采樣視頻中單幀特征表示以用于視頻序列匹配。但是簡單的將單幀圖像特征在時間域上進行稠密組合會得到很大維度的特征表示，使得視頻匹配耗費時間、耗費內存。

也有人提出通過VGG16卷積神經網絡端到端的提取視頻中單幀圖像的特征表示，并將單幀特征進行稠密組合，使用稀疏編碼的方式進行特征空間域降維，使用視頻池化進行時間域降維，最后將降維后的特征表示用于視頻匹配。但是該方法中所采用的降維方式只是在視頻的時間域和空間域上分別進行壓縮和整合，并沒有利用視頻中幀與幀之間的時空信息。

發明內容

發明目的：為了克服現有技術的不足，本發明提供一種基于卷積及循環神經網絡的視頻拷貝檢測系統及方法，可以解決在檢測中檢測結果準確性低，視頻匹配中耗費時間、耗費內存的問題。

技術方案：一方面，本發明所述的基于卷積及循環神經網絡的視頻拷貝檢測系統，該系統包括：

數據集建立模塊，使用公開視頻拷貝檢測數據集CC_WEB作為循環神經網絡的訓練集，使用公開視頻數據集VCDB作為測試集；

幀特征提取模塊，采用50層的殘差卷積神經網絡ResNet50提取所述訓練集視頻的圖像幀級靜態特征；