[發明專利]一種近似重復視頻片段自動定位方法

有效

• 申請號: 201210226094.5
• 申請日: 2012-06-29
• 公開（公告）號: CN102779184A
• 公開（公告）日: 2012-11-14
• 發明（設計）人: 張樹武;王方圓;李和平
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中科專利商標代理有限責任公司 11021
• 代理人: 宋焰琴

技術領域

本發明涉及多媒體圖像視頻檢索技術領域。尤其是一種近似重復視頻片段自動定位方法，可應用于視頻拷貝檢測、近似重復視頻檢索等子領域。

背景技術

近似重復視頻片段自動定位是視頻檢索領域中，一個重要的子問題。與其緊密相關的技術領域包括：近似重復圖像檢索、近似重復視頻檢索和拷貝視頻檢測等。近似重復的視頻檢索技術的一個顯著特征是，其檢索返回的視頻具有高度的相似性。盡管如此，由于視覺信息缺乏語義性，信息量巨大，并且易受編碼格式、視頻分辨率、視頻對比度等視頻參數變換的影響，快速準確的進行近似重復視頻內容檢測，仍然是一項極具挑戰性的技術。目前，隨著廣播電視、互聯網、電信網等帶寬的不斷增加，視頻的生成、傳播、消費規模呈現幾何級增長，傳統的人工標注、查詢、管理的方式效率低下，急需基于內容相似性的視頻檢測技術進行智能化的處理。

目前，針對近似重復視頻片段自動定位技術展開的各項研究，主要是集中在如何選取更好的視頻表達特征上，而由于定位問題對于時間精度的要求，查詢方法基本都是采用串匹配的方式進行。常用的特征表示有，統計顏色直方圖、運動估計向量、梯度直方圖，以及空間灰度序和時間灰度序等。其中，基于灰度序的各種特征，由于其計算簡單，并對顏色退化等問題不敏感，在定位查詢時往往能取得較好的效果。然而，傳統的灰度序特征的唯一性表示能力不夠，使得尤其在查詢視頻較短時，誤判率較高。綜上所述，傳統的近似重復視頻片段自動定位問題主要存在以下兩個問題：一是定位查詢的效率不高，方法時間復雜度為O(MN)(M為查詢視頻抽取的關鍵幀序列幀數，N為目標視頻抽取的關鍵幀序列幀數。不引起歧義的情況下，下文以視頻長度代替關鍵幀序列幀數)不適合實時定位查詢；二是定位查詢的精度在召回率較高時下降較快，難以達到實際應用的要求。

發明內容

針對上述兩個主要問題，本發明提出了一種近似重復視頻片段自動定位方法。

本發明所提出的一種近似重復視頻片段自動定位方法，其特征在于，該方法包括以下步驟：

步驟1，對于查詢視頻片段和目標視頻，分別抽取該查詢視頻片段和目標視頻中的關鍵幀序列；

步驟2，提取抽取出的關鍵幀序列的視頻二值時間灰度序特征；

步驟3，提取所述關鍵幀序列的視頻時空統一灰度序特征；

步驟4，基于提取出的所述視頻二值時間灰度序特征與所述時空統一灰度序特征對所述目標視頻進行自動定位，得到所述目標視頻中與查詢視頻片段近似重復的視頻片段；

其中，所述步驟4進一步包括以下步驟：

步驟4.1，利用所述視頻二值時間灰度序特征，提取所述查詢視頻片段以及目標視頻中所有候選視頻片段的時空二值模式直方圖，并計算所述查詢視頻片段與每一所述候選視頻片段的時空二值模式直方圖相交度量下的相似度，所述相似度大于給定閾值T₁的候選視頻片段通過第一層的定位過濾，所述候選視頻片段為所述目標視頻中可能與所述查詢視頻片段近似重復的視頻片段；

步驟4.2，利用所述視頻二值時間灰度序特征，計算所述查詢視頻片段與通過第一層定位過濾的候選視頻片段之間的串匹配相似度，所述串匹配相似度大于給定閾值T₂的候選視頻片段通過第二層的定位過濾；

步驟4.3，利用所述視頻時空統一灰度序特征，計算所述查詢視頻片段與通過前兩層定位過濾的候選視頻片段之間的串匹配相似度，所述串匹配相似度大于給定閾值T₃的候選視頻片段即為所述目標視頻中與所述查詢視頻片段近似重復的視頻片段。

本發明所提出的一種近似重復視頻片段自動定位方法對于目標視頻中的候選視頻片段首先進行基于時空二值模式直方圖的實時過濾，在線性時間復雜度O(N)內過平均濾掉80％以上的候選視頻片段，然后進行基于二值時間灰度序特征的快速過濾，使平均過濾率達到99％，大幅提高了定位過濾的執行效率，能夠在召回率較高的情況下，顯著提高定位精度。本發明雖然主要針對基于內容相似性的近似重復視頻片段自動定位領域，但對于其他相似領域亦具有借鑒意義。

附圖說明

圖1是本發明近似重復視頻片段自動定位方法的流程圖。

圖2是本發明提出的二值時間灰度序和時空統一灰度序特征提取示意圖。

圖3是本發明提出的對目標視頻中與查詢視頻片段近似重復視頻片段進行三層自動定位過濾的方法流程圖。