[發明專利]一種提取視頻摘要的方法及裝置

有效

• 申請號: 200810247499.0
• 申請日: 2008-12-31
• 公開（公告）號: CN101464893A
• 公開（公告）日: 2009-06-24
• 發明（設計）人: 戴瓊海;高躍;季向陽;王好謙
• 申請（專利權）人: 清華大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京三高永信知識產權代理有限責任公司
• 代理人: 何文彬

1.一種提取視頻摘要的方法，其特征在于，所述方法包括：

對原視頻分割，獲取原視頻的視頻鏡頭和關鍵幀；

將具有相似視頻特征的關鍵幀聚為一類，并將所述聚為一類的關鍵幀命名為一個聚類；

從每個聚類中選取平均距離最小的關鍵幀作為保留關鍵幀，將所述保留關鍵幀對應的視頻鏡頭拼接成粗糙的視頻摘要；

在所述粗糙的視頻摘要中生成視頻片段并計算所述視頻片段的相似度，檢測出視頻片段的相似度超過第三閾值的視頻片段，在所述粗糙視頻摘要中去除所述檢測到的視頻片段，將所述粗糙的視頻摘要保留下來的其他部分拼接成視頻摘要。

2.根據權利要求1所述一種提取視頻摘要的方法，其特征在于，所述將具有相似視頻特征的關鍵幀聚為一類，具體包括：

計算任意兩個所述關鍵幀之間的距離；

將彼此距離小于或等于第一閾值的關鍵幀聚為一類。

3.根據權利要求1所述一種提取視頻摘要的方法，其特征在于，所述從每個聚類中選取平均距離最小的關鍵幀作為保留關鍵幀，將所述保留關鍵幀對應的視頻鏡頭拼接成粗糙的視頻摘要，具體包括：

計算所述聚類的一個關鍵幀與所述聚類其他關鍵幀之間的距離的平均值，所述平均值為所述關鍵幀的平均距離，對所述聚類的每個關鍵幀按上述方法計算出各自的平均距離，選取平均距離最小的關鍵幀作為保留關鍵幀；

將所述選取的保留關鍵幀對應的視頻鏡頭按時間順序拼接，獲得所述粗糙的視頻摘要。

4.根據權利要求1所述一種提取視頻摘要的方法，其特征在于，所述在粗糙的視頻摘要中生成視頻片段并計算所述視頻片段的相似度，具體包括：

計算所述粗糙的視頻摘要的任意兩幀圖片之間的距離，若所述距離小于第二閾值，從所述兩幀圖片中選取時間在后的一幀圖片，讀取在所述選取的圖片之前的相鄰的一幀圖片的相似度，將所述讀取的相似度增加預設的增量得到所述選取的圖片的相似度，在所述粗糙的視頻摘要中將相似度非零且連續增加的圖片組成視頻片段，并以所述組成的視頻片段包括的最大的圖片的相似度作為所述組成的視頻片段的相似度。

5.一種提取視頻摘要的裝置，其特征在于，所述裝置包括：

獲得模塊，用于對原始視頻分割，獲得原視頻的視頻鏡頭和關鍵幀；

聚類模塊，用于將具有相似視頻特征的關鍵幀聚為一類，并將聚為一類的關鍵幀命名為一個聚類；

拼接模塊，用于從每個聚類中選取平均距離最小的關鍵幀作為保留關鍵幀，將所述保留關鍵幀對應的鏡頭拼接成粗糙的視頻摘要；

去除模塊，用于在所述粗糙的視頻摘要中生成視頻片段并計算所述視頻片段的相似度，檢測出視頻片段的相似度超過第三閾值的視頻片段，在所述粗糙視頻摘要中去除檢測到的視頻片段，將粗糙視頻摘要保留下來的其他部分拼接成視頻摘要。

6.根據權利要求5所述一種提取視頻摘要的裝置，其特征在于，所述聚類模塊具體包括：

計算單元，用于計算任意兩個所述關鍵幀之間的距離；

聚類單元，用于將彼此距離小于或等于第一閾值的關鍵幀聚為一類。

7.根據權利要求5所述一種提取視頻摘要的裝置，其特征在于，所述拼接模塊具體包括：

選取單元，用于計算所述聚類的一個關鍵幀與所述聚類的其他關鍵幀之間的距離的平均值，所述平均值為所述關鍵幀的平均距離，對所述聚類的每個關鍵幀按上述方法計算出各自的平均距離，選取平均距離最小的關鍵幀作為保留關鍵幀；

拼接單元，用于將所述保留關鍵幀對應的視頻鏡頭按時間順序拼接，獲得粗糙的視頻摘要。

8.根據權利要求5所述一種提取視頻摘要的裝置，其特征在于，所述去除模塊具體包括：

生成單元，用于計算所述粗糙的視頻摘要的任意兩幀圖片之間的距離，若所述距離小于第二閾值，從所述兩幀圖片中選取時間在后的一幀圖片，讀取在所述選取的圖片之前的相鄰的一幀圖片的相似度，將所述讀取的相似度增加預設的增量得到所述選取的圖片的相似度，在所述粗糙的視頻摘要中將相似度非零且連續增加的圖片組成視頻片段，并以所述組成的視頻片段包括的最大的圖片的相似度作為所述組成的視頻片段的相似度；

檢測單元，用于從生成單元生成的各視頻片段中，檢測出所述視頻片段的相似度超過第三閾值的視頻片段；

去除單元，用于在所述粗糙的視頻摘要中去除所述檢測到的視頻片段，將所述粗糙視頻摘要保留下來的其他部分拼接成視頻摘要。