[發明專利]一種基于深度學習和圖論的拷貝視頻檢測方法和系統

在審

• 申請號: 201710024138.9
• 申請日: 2017-01-12
• 公開（公告）號: CN106778686A
• 公開（公告）日: 2017-05-31
• 發明（設計）人: 楊歐
• 申請（專利權）人: 深圳職業技術學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/08;G11B20/00;G06F17/30
• 代理公司: 武漢臻誠專利代理事務所(普通合伙)42233
• 代理人: 仲暉

技術領域

本發明屬于多媒體信息處理技術領域，更具體地，涉及一種基于深度學習和圖論的拷貝視頻檢測方法和系統。

背景技術

隨著信息技術、視頻采集設備和視頻編輯軟件的發展，視頻數據呈現海量增長的趨勢?；ヂ摼W上每天都有大量的視頻被上傳和下載，這就導致互聯網上存在著大量的相似或者拷貝視頻。大量拷貝視頻的產生給視頻內容監管、視頻版權保護、視頻搜索引擎結果排序等多方面帶來技術性的難題。利用計算機進行拷貝視頻檢測研究是近年來人們普遍關注的新興研究課題，其涉及到的關鍵幀相似性匹配、視頻子序列相似性匹配等技術已引起了越來越多學者和機構的關注。

目前，拷貝視頻片段檢測技術研究主要集中于基于視頻關鍵幀特征的相似性匹配以及視頻子序列的相似性匹配兩方面?；谝曨l關鍵幀特征的相似性匹配目前研究主要集中于基于關鍵幀的局部特征進行相似性匹配，局部特征即通過提取關鍵幀的局部關鍵點并對關鍵點進行描述從而對關鍵幀進行描述。對于視頻子序列相似性匹配方面的研究主要是采用模板序列匹配的方法，模板序列匹配是指以待檢測視頻序列的長度為窗口長度，然后以一個步長在參考視頻序列中依次滑動，度量窗口內對應視頻序列的相似度值。

然而，現有的拷貝視頻檢測方法存在以下的技術問題：第一，局部特征點檢測算法較為復雜，局部描述子的維度高，且使采用局部特征進行關鍵幀相似性匹配需要對關鍵幀進行兩兩相似度計算，因此時間消耗過大，在應對大規模數據集時算法的效率不高；第二，基于模板序列匹配的視頻子序列相似性匹配方法很難應對幀率改變、插幀、丟幀等視頻編輯變換，而且在視頻規模較大時，基于模板序列匹配的方法時間復雜度較高；第三，當前絕大多數的拷貝視頻檢測研究均側重于待檢測視頻與參考視頻長度相等的情況和待檢測視頻是參考視頻子集的情況，但是當待檢測視頻本身也為拷貝片段和非拷貝片段拼接且拷貝片段僅為參考庫視頻中的子集時，當前研究方法就變得難以應對，檢測的準確率也會大大降低。

發明內容

針對現有技術的以上缺陷或改進需求，本發明提供了一種基于深度學習和圖論的拷貝視頻檢測方法和系統，其目的在于，解決現有方法中存在的拷貝視頻檢測時間消耗大以及對部分視頻編輯變換方式難以應對的技術問題。

為實現上述目的，按照本發明的一個方面，提供了一種基于深度學習和圖論的拷貝視頻檢測方法，包括以下步驟：

(1)抽取參考庫視頻中的關鍵幀，從關鍵幀中提取關鍵幀特征，并將該關鍵幀特征存儲在參考庫視頻數據庫中；

(2)抽取待檢測視頻中的關鍵幀，并從關鍵幀中提取關鍵幀特征；

(3)采用近似最近鄰搜索算法對步驟(1)中得到的參考庫視頻數據庫中的關鍵幀特征和步驟(2)中得到的待檢測視頻中的關鍵幀特征進行相似性匹配；

(4)根據圖論的方法對步驟(3)得到的相似性匹配列表進行拷貝視頻片段的判斷與定位。

優選地，步驟(1)具體包括以下子步驟：

(1-1)抽取參考庫視頻中的多個關鍵幀，具體是按照時間間隔T秒抽取一個關鍵幀，其中T為自然數；

(1-2)將步驟(1-1)中獲取的多個關鍵幀進行歸一化，將歸一化的關鍵幀大小減去圖像均值，并將結果輸入到卷積神經網絡模型進行處理，并將處理得到的W維向量作為關鍵幀特征，其中W為自然數；

(1-3)將步驟(1-2)中獲得的關鍵幀特征按生成時間的先后順序保存在參考庫視頻數據庫中，并記錄每個關鍵幀特征所對應的參考庫視頻序號。

優選地，步驟(1-2)中采用的是AlexNet卷積神經網絡模型FC7層輸出的的4096維向量，即W＝4096。

優選地，步驟(2)具體包括以下步驟：

(2-1)抽取待檢測視頻中的多個關鍵幀，具體是按照時間間隔S秒抽取一個關鍵幀，其中S為自然數；

(2-2)將步驟(2-1)中獲取的多個關鍵幀進行歸一化，將歸一化的關鍵幀大小減去圖像均值，并將結果輸入到卷積神經網絡模型中進行處理，并將處理得到的W維向量作為關鍵幀特征。

優選地，步驟(3)具體包括以下步驟：

(3-1)讀取參考庫視頻數據庫中的關鍵幀特征R＝{r₁,r₂,...,r_n}，并將所有關鍵幀特征組合為W×n的矩陣，其中n表示參考庫視頻數據庫中關鍵幀的數量，r_j為參考視頻關鍵幀，且j∈(1,n)；