[發明專利]用于相同內容視頻檢索的視頻指紋方法

無效

• 申請號: 201110368873.4
• 申請日: 2011-11-18
• 公開（公告）號: CN102419816A
• 公開（公告）日: 2012-04-18
• 發明（設計）人: 孫建德;王靜
• 申請（專利權）人: 山東大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;H04N7/26
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張勇

技術領域

本發明涉及一種用于相同內容視頻檢索的視頻指紋方法，屬于視頻、多媒體信號處理技術領域。

背景技術

隨著多媒體技術的發展，特別是互聯網已成為日常生活不可缺少的一部分，視頻內容變得越來越豐富，同時盜版視頻也成倍出現。在多媒體版權保護中，版權鑒別者需要從大量的多媒體數據中，快速有效地檢測到可能存在的拷貝并判斷內容的所有權，這就需要對相同內容的視頻進行檢索，也就是視頻拷貝檢測。在對多媒體對象檢索中，需要對視頻中場景、片段進行分析和特征提取，并基于這些特征進行相似性匹配，進而幫助人們快速準確地找到所需要的多媒體信息。

近年來視頻拷貝檢測技術取得了很大發展，目前已有多種拷貝檢測方法。其中最主要的是基于內容(Content-Based?Copy?Detection，CBCD)的視頻拷貝檢測方法。視頻拷貝檢測的技術核心是視頻指紋的生成。視頻指紋就是從視頻內容中提取出具有魯棒性和區分性的視頻特征。一種比較典型的方法是基于亮度序列的方法，該方法首先把視頻每幀分成8×8的塊，然后計算每塊像素亮度分量的均值并對所有塊的均值排序，由這個排序后的特征構成視頻指紋，順序特征的引入比直接使用像素值計算指紋的魯棒性強。但這種方法的缺點是對于幾何變換的攻擊諸如旋轉、放縮和剪切的魯棒性較差。另一種比較經典的方法是基于時域的視頻指紋方法，即一般利用不同鏡頭之間持續的時間，或者根據相鄰幀在時域上的關系來構造視頻指紋。這種方法與空域里亮度順序方法不同的是，時域算法不是對每一幀進行塊排序，而是定義了一個時域窗口，對時域窗口內每一幀相同位置的塊進行排序，但由于局部變化會打亂圖像塊間的有序關系，從而使得這類算法性能下降。考慮到視頻的視覺內容可以看作是時間上連續的一系列圖像幀的集合，僅利用時域或空域信息不能完全表征視頻內容，因此將時空信息結合起來是特征提取的研究方向。但目前已有的時空聯合方法沒有將人的視覺感知加入，同樣在申請專利號為201110184477.6的基于魯棒哈希的視頻拷貝檢測方法專利中沒有將人的視覺關注加入。但是由于人是多媒體信息的最終受用者，因此忽略了人的認知對視頻內容的影響，而在本發明中通過分別計算出代表圖像的二值序列特征和視覺顯著圖的二值序列特征，最后對二者取同或得到視頻指紋。這樣得到的視頻指紋由于視覺關注的加入，使得人眼對不同區域的關注程度也不同，匹配時賦予每一哈希位相應的權重，這樣全面的視頻分析更符合人的認知。

發明內容

本發明針對目前視頻指紋生成方法中存在的不足，結合時空聯合特征在表征視頻內容上的全面性以及順序特征在魯棒性上的貢獻，以及視覺關注區域即圖像中最能引起用戶興趣，最能表現圖像內容的區域，這些區域特征的提出將會大大提高圖像處理和分析的效率和準確度，由此提出了一種用于相同內容視頻檢索的視頻指紋方法，此方法所提取視頻指紋的魯棒性及區分性都得到了極大提高與改善。

為實現上述目的，本發明采用如下技術方案：

一種用于相同內容視頻檢索的視頻指紋方法，包括以下步驟：

1)對視頻進行分段：首先對視頻進行預處理，將視頻預處理為寬度和高度固定尺寸大小的視頻序列；然后對預處理后的各視頻序列進行分段；

2)生成視頻代表圖：每一視頻序列分段分別生成相對應的時域信息代表圖和視覺顯著代表圖；

3)生成順序特征：首先對時域信息代表圖和視覺顯著代表圖進行分塊，然后根據特定的順序關系將圖像塊進行排序，并通過計算塊與塊的特征差異來分別得到代表時域信息代表圖和視覺顯著代表圖的順序特征；

4)生成二值特征序列：根據上述得到的時域信息代表圖和視覺顯著代表圖的順序特征，分別生成對應的時域信息代表圖和視覺顯著代表圖的二值特征序列；

5)視頻指紋生成：將得到的時域信息代表圖和視覺顯著代表圖的二值特征序列結合起來，根據需要進行相應的運算，最終得到的二值序列為最終的視頻指紋；

將視頻處理為固定大小的視頻序列過程中，根據需要通過插值或者下采樣來獲得指定大小的視頻。

對視頻進行分段時，相鄰視頻段根據需要有一定部分的重疊或者不重疊。

時域信息代表圖根據需要由每段視頻中部分或者全部視頻幀疊加得到。

視覺顯著代表圖根據需要由每段視頻中部分或者全部視頻幀所對應的視覺顯著圖疊加得到。

進行圖像塊排序時的特定關系根據需要進行指定，按照從左到右從上到下或從下到上從右到左或希爾伯特曲線方式進行。

所述塊與塊的特征差異根據需要進行指定，這些特征為顏色或亮度或能量中的至少一種。