[發明專利]一種基于深度學習和圖論的拷貝視頻檢測方法

在審

• 申請號: 201710122026.7
• 申請日: 2017-03-02
• 公開（公告）號: CN106991373A
• 公開（公告）日: 2017-07-28
• 發明（設計）人: 謝毓湘;欒悉道;張芯;賀竟錳;牛曉;張莉莉;魏迎梅;李方敏;康來
• 申請（專利權）人: 中國人民解放軍國防科學技術大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06F17/30
• 代理公司: 湖南兆弘專利事務所(普通合伙)43008
• 代理人: 趙洪

1.一種基于深度學習和圖論的拷貝視頻檢測方法，其特征在于包括以下步驟：

第一步，抽取參考庫視頻中的圖像幀、提取圖像幀特征，并將該特征存儲在參考庫視頻數據庫中，方法是：

1.1抽取參考庫視頻中的n個圖像幀，方法是：每間隔T秒從參考庫視頻抽取一個圖像幀，共抽取出n個圖像幀，得到圖像幀集合為第j個T秒的時間間隔后生成的圖像幀，1≤j≤n,n為參考庫視頻按間隔T秒共抽取的圖像幀個數，T為自然數；

1.2將步驟1.1獲取的圖像幀集合C^R中的n個圖像幀進行歸一化，并將歸一化后的n個圖像幀輸入到卷積神經網絡模型中，將卷積神經網絡模型輸出的結果作為圖像幀特征，得到n個圖像幀特征；

1.3將步驟1.2獲得的n個圖像幀特征按生成時間的先后順序保存在參考庫視頻數據庫中，參考庫視頻數據庫存貯一張數據列表，該數據列表有n個表項，每個表項包括圖像幀序號、圖像幀名稱、所屬視頻名稱、圖像幀特征地址四個域，圖像幀特征地址記錄圖像幀特征的存放路徑；參考庫視頻數據庫中的n個圖像幀特征組合在一起，構成參考庫視頻圖像幀特征矩陣，該矩陣的列向量即為圖像幀特征向量；

第二步，抽取待檢測視頻中的圖像幀，并提取圖像幀特征，方法是：

2.1每間隔T秒從待檢測視頻抽取一個圖像幀，共抽取出m個圖像幀，得到待檢測視頻圖像幀集合為第i個T秒的時間間隔后生成的圖像幀，其中1≤i≤m，2≤m≤n；

2.2將步驟2.1獲取的m個圖像幀進行歸一化，并將歸一化后的m個圖像幀輸入到卷積神經網絡模型中，將卷積神經網絡模型輸出的結果作為圖像幀特征，得到m個圖像幀特征；

2.3將待檢測視頻圖像幀集合的m個圖像幀特征組合在一起，構成待檢測視頻圖像幀特征矩陣；

第三步，采用近似最近鄰搜索算法對待檢測視頻圖像幀特征矩陣和參考庫視頻圖像幀特征矩陣進行相似性匹配，得到相似性匹配列表，方法是：

3.1初始化變量p＝1，初始化相似性匹配列表，相似性匹配列表包含K個表項，每個表項包括m個域，初始化為空，這m個域用來存放與待檢測視頻圖像幀匹配的參考庫視頻圖像幀；K為大于0的自然數；

3.2計算待檢測視頻圖像幀特征矩陣的第p個列向量與參考庫視頻圖像幀特征矩陣中的n個列向量的歐氏距離，將這n個歐氏距離由大到小進行排序，將排序后的第1至第K個歐氏距離對應的參考庫視頻圖像幀特征矩陣中的K個列向量找出來，并將這K個列向量對應的參考庫視頻圖像幀集合C^R中的K個圖像幀找出來，找出來的K個圖像幀用表示，1≤k≤K，r_k^p為與待檢測視頻圖像幀相匹配的圖像幀在C^R中的序號，1≤r_k^p≤n；

3.3將相似性匹配列表的第p列元素存放

3.4令p＝p+1，判斷p是否小于m，若小于等于m，轉步驟3.2，若p大于m，表示得到相似性匹配列表，執行第四步；

第四步，采用圖論的方法根據第三步得到相似性匹配列表進行拷貝視頻片段的判斷與定位，方法是：

4.1根據相似性匹配列表構造匹配結果圖，方法為：

4.1.1將相似性匹配列表中的元素轉換為匹配結果圖G中的結點，方法為：

4.1.1.1令變量p＝1；

4.1.1.2將相似性匹配列表中的第p列元素分別轉換成圖G的節點

4.1.1.3令p＝p+1，判斷p是否小于m，若小于等于m，轉步驟4.1.1.2，若p大于m，轉換節點結束，得到圖G所有節點，用集合表示為

4.1.2對匹配結果圖G中節點進行連邊，方法是：

4.1.2.1令變量p＝1，k＝1；

4.1.2.2判斷節點與圖G中其余節點是否滿足連邊條件，將滿足連邊條件的兩節點間畫一連邊，并將畫有連邊的兩結點的距離設為1，將不滿足連邊條件的兩結點的距離設為負無窮，不畫連邊；所述連邊條件是指：對于圖G中的兩個節點和滿足以下兩個條件能夠連邊：一是滿足時間方向的一致性，即(I₁-I₂)*(J₁-J₂)＞0；二是滿足和的跳躍度τ為結點之間的時間跳躍度閾值，1≤I₁≤m，1≤I₂≤m，1≤J₁≤n，1≤J₂≤n且I₁≠I₂，J₁≠J₂；

4.1.2.3令k＝k+1，若k小于等于K，轉步驟4.1.2.2，若k大于K，轉步驟4.1.2.4；

4.1.2.4令p＝p+1，若p小于等于m，轉步驟4.1.2.2，若p大于m，匹配結果圖G構建完成，執行步驟4.2；

4.2采用Floyd Warshall算法查找匹配結果圖G中任意兩結點之間的最長路徑，得到最長路徑集合L；

4.3計算L中每條最長路徑的長度即最長路徑首節點和末節點的距離之和，則這些最長路徑長度中的最大值即為圖G的最大路徑長度maxDist，設maxDist是節點和間的最長路徑長度，1≤I₃≤m，1≤I₄≤m，1≤J₃≤n，1≤J₄≤n；

4.4根據maxDist進行拷貝片段的判斷與定位：如果maxDist≥λ，則判定待檢測視頻中的到為拷貝片段，對應的參考庫視頻圖像幀序列為從到λ是對最大路徑長度的限制閾值，λ為正整數，J₃和J₄是圖像幀序號，在參考庫視頻數據庫中查找到J₃和J₄對應的所屬視頻名稱，得到拷貝片段的源視頻片段；如果maxDist＜λ，則判斷待檢測視頻不包含拷貝片段，即為非拷貝視頻。