[發明專利]一種提取視頻摘要的方法及裝置

有效

• 申請號: 200810247499.0
• 申請日: 2008-12-31
• 公開（公告）號: CN101464893A
• 公開（公告）日: 2009-06-24
• 發明（設計）人: 戴瓊海;高躍;季向陽;王好謙
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司
• 代理人: 何文彬

技術領域

本發明涉及視頻分析領域，特別涉及一種提取視頻摘要的方法及裝置。

背景技術

隨著計算機網絡及多媒體技術的快速發展，多媒體數據的應用日益廣泛。由于存儲代價的不斷降低以及數據壓縮技術的進步，多媒體數據出現了爆炸性的增長。海量的視頻數據增加了用戶檢索和瀏覽視頻的難度。視頻摘要技術能讓用戶更有效的瀏覽視頻的內容，近年來得到了廣泛的關注。

作為基于內容的視頻分析的一種主要應用，近年來有大量的研究集中在視頻摘要提取算法上。國內也有較多基于內容的視頻摘要方面的成果。其中，視頻預覽是視頻摘要的一種基本形式。最簡單的生成視頻預覽的方法是應用采樣，也就是從原始視頻中采用快放的方式來提高整個視頻內容的幀速率，從而形成動態的視頻瀏覽。這種方法生成速度很快，但是由于整個視頻的速度相比原始視頻變得過快，使得并不能提供很好的視覺效果。于是保持原始的幀速率，選擇重要的或者相關的視頻片段來形成動態視頻瀏覽便成為了相對更好的方式。該方式主要根據關鍵幀的內容分析，將關鍵幀進行周圍視頻片段的擴展，并將他們鏈接起來，從而形成一種較簡單的視頻瀏覽算法。

在實現本發明的過程中，發明人發現現有技術至少存在以下問題：

在動態視頻摘要部分，已有的算法主要關注在關鍵幀層次的相似度分析。由于這種算法在很大程度上依靠于關鍵幀的選取情況。當兩個相似的鏡頭時長較長，并且其中包含較大的鏡頭運動信息時，所提取出的關鍵幀并不能保證足夠相似，然而這些關鍵幀所代表的視頻序列卻很可能是非常相似的。因此，僅僅從視頻關鍵幀層次做冗余分析，并不能在最大的程度上去除視頻的相似成分。

發明內容

為了使提取的視頻摘要更加簡潔，本發明實施例提供了一種提取視頻摘要的方法及裝置。所述技術方案如下：

一種提取視頻摘要的方法，所述方法包括：

對原視頻分割，獲取原視頻的視頻鏡頭和關鍵幀；

將具有相似視頻特征的關鍵幀聚為一類，并將所述聚為一類的關鍵幀命名為一個聚類；

從每個聚類中選取平均距離最小的關鍵幀作為保留關鍵幀，將所述保留關鍵幀對應的視頻鏡頭拼接成粗糙的視頻摘要；

在所述粗糙的視頻摘要中生成視頻片段并計算所述視頻片段的相似度，檢測出視頻片段的相似度超過第三閾值的視頻片段，在所述粗糙視頻摘要中去除所述檢測到的視頻片段，將所述粗糙視頻摘要保留下來的其他部分拼接成視頻摘要。

所述將具有相似視頻特征的關鍵幀聚為一類，具體包括：

計算任意兩個所述關鍵幀之間的距離；

將彼此距離小于或等于第一閾值的關鍵幀聚為一類。

所述從所述每個聚類中選取平均距離最小的關鍵幀作為保留關鍵幀，將所述保留關鍵幀對應的視頻鏡頭拼接成粗糙的視頻摘要，具體包括：

計算所述聚類的一個關鍵幀與所述聚類其他關鍵幀之間的距離的平均值，所述平均值為所述關鍵幀的平均距離，對所述聚類的每個關鍵幀按上述方法計算出各自的平均距離，選取平均距離最小的關鍵幀作為保留關鍵幀；

將所述選取的保留關鍵幀對應的視頻鏡頭按時間順序拼接，獲得所述粗糙的視頻摘要。

所述在粗糙的視頻摘要中生成視頻片段并計算所述視頻片段的相似度，具體包括：

計算所述粗糙的視頻摘要的任意兩幀圖片之間的距離，若所述距離小于第二閾值，從所述兩幀圖片中選取時間在后的一幀圖片，讀取在所述選取的圖片之前的相鄰的一幀圖片的相似度，將所述讀取的相似度增加預設的增量得到所述選取的圖片的相似度，在所述粗糙的視頻摘要中將相似度非零且連續增加的圖片組成視頻片段，并以所述組成的視頻片段包括的最大的圖片的相似度作為所述組成的視頻片段的相似度

一種提取視頻摘要的裝置，所述裝置包括：

獲得模塊，用于對原始視頻分割，獲得原視頻的視頻鏡頭和關鍵幀；

聚類模塊，用于將具有相似視頻特征的關鍵幀聚為一類，并將聚為一類的關鍵幀命名為一個聚類；

拼接模塊，用于從每個聚類中選取平均距離最小的關鍵幀作為保留關鍵幀，將所述保留關鍵幀對應的鏡頭拼接成粗糙的視頻摘要；

去除模塊，用于在所述粗糙的視頻摘要生成視頻片段并計算所述視頻片段的相似度，檢測出視頻片段的相似度超過第三閾值的視頻片段，在所述粗糙視頻摘要中去除檢測到的視頻片段，將粗糙視頻摘要保留下來的其他部分拼接成視頻摘要。

所述聚類模塊具體包括：

計算單元，用于計算任意兩個所述關鍵幀之間的距離；

聚類單元，用于將彼此距離小于或等于第一閾值的關鍵幀聚為一類。

所述拼接模塊具體包括：