[發明專利]一種基于視頻重構的重復片段定位方法

有效

• 申請號: 201210182770.3
• 申請日: 2012-06-05
• 公開（公告）號: CN102750339A
• 公開（公告）日: 2012-10-24
• 發明（設計）人: 韋世奎;趙耀;朱振峰
• 申請（專利權）人: 北京交通大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04N21/232
• 代理公司: 北京市商泰律師事務所 11255
• 代理人: 毛燕生

技術領域

本發明涉及數字媒體挖掘、版權保護技術領域，尤其涉及一種基于視頻重構的重復片段定位方法。

背景技術

隨著圖像和視頻采集設備的廣泛普及以及互聯網技術的飛速發展，人們可以方便地通過一些流行的圖像/視頻分享網站來分享自己的數字作品，這使得多媒體信息資源空前豐富。比如，著名的圖像分享網站Flickr和視頻分享網站YouTube存儲了數以十億計的圖像/視頻文件。通常，這些共享視頻是一些用戶自制的個性化視頻，除了純原創作品外，很大一部分作品是通過視頻編輯軟件加工合成一系列現有視頻片段構成，特別是網上流行的視頻片段被不同視頻作品頻繁引用。從多媒體數據挖掘的角度來說，既然多個不同視頻作品包含同一視頻片段，那就說明它們之間在語義上存在著某種聯系，比如這些視頻可能都是在講述關于同一主題的故事等。如果能根據視頻片段的重復出現性來尋找視頻數據庫中視頻間存在的一些語義關聯，并將這些關聯信息融合到多媒體搜索之中，就可以有效地減少系統相似性度量和用戶感知的不一致性，進而提高多媒體搜索引擎的搜索質量。從數字媒體版權保護的角度，被引用視頻片段的原創單位或個人需要知道其作品被哪些視頻使用，進而維護其數字媒體的知識產權。無論是多媒體數據挖掘還是數字媒體版權保護，其核心問題是如何準確地判斷、并精確地定位出多媒體中重復出現的視頻片段。由于被引用視頻片段并不是原封不動的被插入到新視頻作品中，而是經過一定的視頻編輯之后才被使用，所以重復片段定位的主要挑戰是如何快速精確地在視頻作品中定位這些經過視頻變換的片段。最近幾年，重復視頻片段檢測吸引了眾多研究機構的目光，并且產生了大量的成果。在早期的研究中，待檢測的視頻通常是一個比較短的視頻片段，我們稱之為查詢視頻，重復檢測的目標是判斷此查詢視頻片段是否和引用視頻中某等長片段一致。較為常見的檢測模式是基于模板匹配的方法，其分三步進行：

(1)首先，抽取查詢視頻片段和引用視頻片段的關鍵幀并提取特征；

(2)其次，查詢視頻通過一個滑動窗來順序地匹配引用視頻上所有和其等長的子視頻，這種匹配是通過累積查詢視頻幀和引用子視頻幀的視覺相似程度來獲得的；

(3)最后，通過相似度閾值判斷，來確定查詢視頻片段是否和對應的子視頻是重復的。

這種方法的一個明顯不足是，查詢視頻片段被當成一個整體來進行判斷，要么全部和某段引用子視頻重復，要么全部不重復。也就是說，如果查詢片段中只有一小部分和引用視頻重復，基于模板匹配的方法就會產生很大偏差甚至失效。一種可能的改進措施是將查詢片段重新分解成所有可能的子片段，對每一個子片段再應用上述方法進行檢測。然而，如果查詢片段很長，那么這種方法將極大增加系統的時間開銷，影響系統的響應效率。另一種可選的方法是使用基于視頻重構的重復片段定位方法。這種方法主要包括四個主要步驟：

(1)首先，抽取查詢視頻片段和引用視頻片段的關鍵幀；

(2)其次，為每一幅關鍵幀提取視覺特征；

(3)然后，通過視覺特征的相似性計算，為每個查詢幀從所有引用視頻關鍵幀中搜索一個最相似的引用關鍵幀列表。

(4)最后，利用時間上的一致性約束來從相似引用關鍵幀列表中重構引用視頻片段，進而判斷查詢中是否有重復片段出現。

由于這種方法不再直接將查詢序列和引用視頻序列進行直接窗口匹配，所以它能更加靈活地處理查詢視頻中子片段的重復檢測問題。然而，當前的重構算法大都是以一種批處理的方式來重構引用視頻片段。也就是說，它們要求事先一次性為所有查詢關鍵幀都返回一個相似引用幀列表，然后成批地處理所有列表以判斷查詢視頻中是否有重復片段出現。對于小段查詢視頻，這種方法不僅形式簡單，而且檢測效果也很好。但是，如果查詢視頻太長，這種批處理方式就會面臨高計算復雜度和高內存空間的問題，限制了其在實際媒體環境中的應用。

發明內容

本發明的目的在于提供一種基于視頻重構的重復片段定位方法來解決傳統方法中存在的問題。通過有效地利用重復片段之間的時間一致性信息來自動判斷長查詢視頻和長引用視頻中是否有重復片段出現，并精確地定位出其出現位置。

為了達到以上目的，本發明公開了一種基于視頻重構的重復片段定位方法，包括以下步驟：

(1).去除查詢視頻序列和引用視頻序列中視頻幀與視頻幀之間存在的大量冗余，為時間臨近、內容一致的小段視頻抽取具有代表性的視頻關鍵幀，實現數據的精簡處理；

(2).利用偽文本文檔來描述視頻關鍵幀內容；