[發明專利]一種基于深度學習和圖論的拷貝視頻檢測方法

在審

• 申請號: 201710122026.7
• 申請日: 2017-03-02
• 公開（公告）號: CN106991373A
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 謝毓湘;欒悉道;張芯;賀竟錳;牛曉;張莉莉;魏迎梅;李方敏;康來
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F17/30
• 代理公司: 湖南兆弘專利事務所(普通合伙)43008
• 代理人: 趙洪

技術領域

本發明涉及多媒體信息處理技術領域關于拷貝視頻檢測的方法，其實質是圖像幀相似性匹配和視頻子序列相似性匹配方法，是一種能夠適應多種不同編輯變換的視頻檢測方法。

背景技術

隨著信息技術、視頻采集設備和視頻編輯軟件的發展，視頻數據呈現海量增長的趨勢。與此同時，視頻分享和視頻推薦等視頻相關服務的發展使用戶可以更便捷地參與視頻相關的活動。互聯網上每天都有大量的視頻被上傳和下載，以YouTube視頻網站為例，每分鐘就有超過100小時數據量的視頻被下載，在一些社交網站，每天同樣有大量的視頻被下載和分享，這就導致互聯網上存在著大量的相似或者拷貝視頻。相關研究結果顯示，在YouTube，Google Video和Yahoo_Video上基于一些流行的關鍵詞進行視頻查詢，返回結果中有將近27％的視頻是相似視頻。這些相似視頻中除了部分是完全重復視頻之外，更多的都是一些經過了視覺變換或者后期制作的拷貝視頻。常見的視頻編輯變換的方式包括縮放、裁剪、重編碼、加邊框、加字幕、亮度對比度變化以及插幀丟幀等。大量拷貝視頻的產生給視頻內容監管、視頻版權保護、視頻搜索引擎結果排序等多方面帶來技術性的難題，因此需要一種拷貝視頻檢測技術來查找這些相同或者幾乎相同的視頻，這對于信息檢索、版權保護等多方面都具有重要的意義。

利用計算機進行拷貝視頻檢測研究是近年來人們普遍關注的新興研究課題，其涉及到的圖像幀相似性匹配、視頻子序列相似性匹配等技術已引起了越來越多學者和機構的關注。特別是圖像幀相似性匹配已經作為一項重要任務出現在視頻檢索權威評測機構TRECVID的任務列表中。在2014年舉辦的第一屆全國特定音視頻檢索識別挑戰賽中，也將視頻內容拷貝檢測作為檢測任務之一。目前，拷貝視頻片段檢測技術研究主要集中于基于視頻圖像幀特征的相似性匹配以及視頻子序列的相似性匹配兩方面。

基于視頻圖像幀特征的相似性匹配目前研究主要集中于基于圖像幀的全局特征進行相似性匹配和基于圖像幀的局部特征進行相似性匹配。圖像幀的全局特征主要是指顏色、形狀、紋理以及空間關系等全局視覺特征，將一幅圖像幀信息用簡單的向量進行表示。基于圖像幀的全局特征進行相似性匹配的優點是計算簡單，對包含相同內容或者變化不是很大的拷貝視頻比較有效，但全局特征極易受到光照、裁剪等因素的干擾，很難應對經過了復雜編輯變換的拷貝視頻，因此不夠魯棒。與全局特征相比，尺度不變特征轉換(Scale Invariant Feature Transform，SIFT)局部特征、加速魯棒特征(Speeded Up Robust Features，SURF)、ORB(Oriented FAST and Rotated BRIEF)等局部特征的魯棒性要高很多，可以應對拷貝視頻中的光照變換、幾何變換等復雜的編輯變換。但是，基于圖像幀的局部特征進行相似性匹配方法的復雜性以及局部描述子的高維度都使采用局部特征進行圖像幀相似性匹配的時間消耗要比采用全局特征大很多，在應對大規模數據集時算法的效率不高。

對于視頻子序列相似性匹配方面的研究主要包含兩類：基于模板序列匹配的視頻子序列相似性匹配和基于幀融合的視頻子序列相似性匹配。基于模板序列匹配的視頻子序列相似性匹配是指以待檢測視頻序列的長度為窗口長度，然后以一個步長在參考視頻序列中依次滑動，度量窗口內對應視頻序列的相似度值，找到整個滑動過程中相似度值最大的位置，如果此時的相似度值大于事先設定的閾值，則此時窗口中的序列即為對應的待檢測視頻和參考視頻中的拷貝序列。基于模板序列匹配的視頻子序列相似性匹配方法計算簡單、容易實現，但它很難應對幀率改變、插幀、丟幀等視頻編輯變換，而且在視頻規模較大時，基于模板序列匹配的視頻子序列相似性匹配方法時間復雜度較高。基于幀融合的視頻子序列相似性匹配方法從待檢測視頻序列入手，對于待檢測視頻序列中的每一個圖像幀，采用基于幀融合的視頻子序列相似性匹配方法在參考視頻圖像幀中查找與待檢測幀最相似的前K個圖像幀。為所有的待檢測圖像幀都得到前K個最相似的參考視頻圖像幀后，再通過視頻子序列的時序信息進行拷貝視頻片段的判別和定位。基于幀融合的視頻子序列相似性匹配方法能夠應對視頻幀率改變、插幀、丟幀等編輯變換，也能夠解決視頻中只存在部分拷貝片段的情況，但基于幀融合的視頻子序列相似性匹配方法計算復雜，算法實現也比較難。