[發明專利]基于漸進二分和自適應閾值的視頻鏡頭邊界檢測方法

有效

• 申請號: 201310237875.9
• 申請日: 2013-06-17
• 公開（公告）號: CN103310451A
• 公開（公告）日: 2013-09-18
• 發明（設計）人: 張鵬洲;霍奕;王艷峰;溫宇俊;龔雋鵬;張弛
• 申請（專利權）人: 中國傳媒大學
• 主分類號: G06T7/00
• 分類號: G06T7/00
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 張慧

技術領域

本發明屬于多媒體檢索領域，涉及一種基于漸進二分和自適應閾值的視頻鏡頭邊界檢測方法。

背景技術

目前的視頻鏡頭邊界檢測算法普遍采用線性計算方法，順序地計算幀間差異并研究變化值。因線性計算需要比較給定視頻每相鄰兩幀的差異，耗時長，因而不適用大規模的視頻庫。

為解決這個問題，Kien?A.Hua于2000年在ACM?Multimedia2000上發表的論文“Detecting?Video?Shot?Boundaries?up?to16Times?Faster”中，提出了利用鏡頭內幀間上下文的相似性忽略一些不必要的比較計算，從而降低時間復雜度的兩種非線性算法。第一種是規則跳略，即每隔d幀進行一次比較計算。假設d=2，它比較第1幀和第3幀，第3幀和第5幀，依此類推。如果發現有第i幀和第i+2幀在不同的鏡頭，則比較第i幀和第i+1幀。如果第i幀和第i+1幀位于不同鏡頭，則鏡頭分界在第i幀和第i+1幀之間；否則就在第i+1幀和第i+2幀之間。一旦新的鏡頭被識別，同樣的過程從新鏡頭的第一幀開始重復。這個方案很簡單，但已經可以將比較計算次數減到一半左右。第二種算法是自適應跳略算法，它動態確定d的值。在每一次重復計算中，如果這一次比較計算結果表明比上一次更相似，則增大d值；否則減小d值。如果本次比較表明這兩幀位于不同的鏡頭，則后退計算尋找鏡頭邊界。一旦找到準確鏡頭邊界，再用同樣方法繼續前向計算。

最直觀的漸變鏡頭檢測方法是根據漸變鏡頭產生式進行檢測，其缺點是只能檢測出已經定義好的漸變類型的鏡頭，但在實際中無法預測出所有漸變鏡頭的類型。

一種典型的漸變鏡頭檢測方法是張宏江于1993年在《Multimedia?Systems》期刊上發表的論文“Automatic?partitioning?of?full-motion?video”中提出的雙閾值法，這種方法基于Gaussian分布確定閾值，其中T_b=μ+ασ的參數α是固定參數，當用于不同類型的視頻時，由于參數α固定，因此這種方法確定的閾值不具有很好的適應力。

另一類常見的漸變鏡頭檢測方法是機器學習法，它為待檢測視頻建立SVM（Support?Vector?Machines，支持向量機）模型、HMM（Hidden?Markov?Model，隱馬爾可夫模型）模型、KNN（K-Nearest?Neighbor?algorithm，K最鄰近結點算法）模型、貝葉斯模型等，機器學習法需要訓練視頻集對這些機器學習模型進行參數訓練，然后再用于新視頻的鏡頭檢測。機器學習法對新視頻進行鏡頭檢測的結果與訓練視頻集有關，如果訓練集選取不當，會影響最終的檢測結果。

還有一類漸變鏡頭檢測方法是建立數學模型法。B樣條插值曲線擬合法從視頻幀序列提取幀間方差特征，并映射到曲線上，用B樣條曲線對它的擬合度檢測疊化鏡頭邊界。袁進輝于2005年在《Proceedings?of?the13th?annual?ACM?international?conference?on?Multimedia》會議上發表的論文“A?Unified?Shot?Boundary?Detection?Framework?Based?on?Graph?Partition?Model”中，提出了基于圖分割模型的統一的鏡頭邊界檢測框架。圖分割模型將每一幀看作一個節點，每兩個節點間用邊連接，這樣可以創建一個加權的圖，從而把鏡頭邊界檢測問題表示為圖分割問題。將視頻鏡頭邊界看作是多分辨率的邊現象，它將視頻序列的表示轉化到多維特征空間中點軌跡的表示，然后用視頻信號軌跡的導數來檢測鏡頭邊界。數學建模法需要將視頻序列結構轉換為數學模型，然后再對新的模型進行檢測，而數學建模過程本身就有很高的計算復雜度。

最典型的進行視頻鏡頭邊界檢測的閾值確定方法是根據特征進行檢測。常用的視覺特征有顏色特征、輪廓特征和運動特征。首先要提取每幀視頻的特征，并計算相鄰幀間的特征差值，并與閾值進行比較，大于閾值的位置即為鏡頭邊界。

經典的閾值算法是張宏江提出的根據視頻幀特征差的Gaussian分布求取的檢測閾值，假設差值的均值和方差分別為m和δ，則閾值為T=m+sδ，其中s取3-5。這種方法的不足之處是參數s為固定參數，不能根據視頻類型進行自動地調整。

其他確定視頻鏡頭邊界的方法是機器學習法，但是檢測結果是與訓練集相關的。