[發明專利]一種基于有監督視頻分割的視頻摘要方法

有效

• 申請號: 201710954324.2
• 申請日: 2017-10-13
• 公開（公告）號: CN107886109B
• 公開（公告）日: 2021-06-25
• 發明（設計）人: 張靜;石玥;蘇育挺;井佩光
• 申請（專利權）人: 天津大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06F16/70
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

一種基于有監督視頻分割的視頻摘要方法，包括以下步驟：通過相似性矩陣和訓練視頻的核矩陣，獲取測試視頻的核矩陣，將該核矩陣作為時域子空間聚類的正則化拉普拉斯矩陣；引入時域拉普拉斯正則化表達式，獲取目標函數，并通過乘法器的交替方向法對目標函數進行求解，得到分割后的每一段視頻幀，并計算每一段視頻幀的分數；通過背包法選擇合適的片段作為視頻摘要；將獲取到的視頻摘要與人工標注的視頻摘要進行對比，調整各參數來進行多次試驗，使視頻摘要與人工標注更接近。本方法提高了視頻摘要的效率和準確度。

技術領域

本發明涉及多媒體社交的視頻摘要領域，尤其涉及一種基于有監督視頻分割的視頻摘要方法。

背景技術

YouTube的大多數視頻都包含時間長和未編輯且語義不能快速理解的特點。用戶通常想要瀏覽視頻，以快速獲得關于語義內容的提示。隨著視頻數據的爆炸式增長，迫切需要開發自動視頻摘要算法，通過提供時間較長視頻的簡短視頻的總結來解決此問題。一個理想的視頻摘要將包括所有重要的視頻片段，并保持較短的長度。這個問題一般是極具挑戰性的，并且是最近視頻處理方面的一個研究主題。通過將長視頻作為輸入并生成短視頻(或關鍵幀序列)作為輸出，視頻摘要具有很大的潛力，可以在原始視頻中進行統計，并使其更具有可瀏覽性和可搜索性。

視頻摘要具有巨大應用潛力、且具有挑戰性。現有技術分為有監督和無監督的視頻摘要方法兩方面。在無監督方面，先前的視頻摘要方法很大程度上主要集中在抽樣有用的視頻幀并將這些幀組合起來作為視頻的摘要。監督學習的初步步驟，主要思想是使用一組視頻和人工創建的摘要作為目標來調整子集選擇模型的參數，以優化摘要的質量。有監督的視頻摘要借助網絡圖片或者視頻將測試視頻與其特征相似的部分提取出來作為視頻摘要。

在參考文獻[1]中，提出無監督的提取靜態摘要，即視頻幀。該方法提取了視頻的顏色特征，然后進行K-means聚類，將每一類離聚類中心最近的圖像作為關鍵幀提取作為視頻的摘要。

該算法的不足之處有兩點：其一是在將視頻分解為幀進行處理時未考慮視頻的結構，也就是幀間的時間連續性信息，那么提取出來的摘要就難以敘述一個未編輯視頻的語義信息。其次，在特征提取時只提取了低級的顏色信息，這也是該算法不能很好地進行語義描述的重要原因。

在參考文獻[2]中，提出的算法是無監督的進行視頻的邊緣檢測來進行視頻的分割，然后對每一片段的趣味性進行打分，此處趣味性用到了一個較低級的特征，然后根據背包算法進行片段的選擇。該算法的主要目的是挑選出趣味性較強的片段，在視頻的語義理解方面少了連貫性，不能將故事通過摘要講出來。所以摘要結果往往少了多樣性，導致摘要之間的相似性很高。

參考文獻[3]中用邊緣檢測進行的視頻分割往往都會有的缺點，是將一個視覺上連貫的動作因為鏡頭的邊緣檢測而被分割開來，不能將完整的動作展示出來。

發明內容

本發明提供了一種基于有監督視頻分割的視頻摘要方法，本發明以訓練視頻的結構核矩陣、通過相似性矩陣運算得到訓練集視頻的結構矩陣，將此作為時間序列拉普拉斯正則化矩陣，指導時域子空間聚類的視頻分割，再用背包法進行子片段篩選即得到視頻摘要，詳見下文描述：

一種基于有監督視頻分割的視頻摘要方法，所述視頻摘要方法包括以下步驟：

1)通過相似性矩陣和訓練視頻的核矩陣，獲取測試視頻的核矩陣，將該核矩陣作為時域子空間聚類的正則化拉普拉斯矩陣；

2)引入時域拉普拉斯正則化表達式，獲取目標函數，并通過乘法器的交替方向法對目標函數進行求解，得到分割后的每一段視頻幀，并計算每一段視頻幀的分數；

3)通過背包法選擇合適的片段作為視頻摘要；

4)將獲取到的視頻摘要與人工標注的視頻摘要進行對比，調整各參數來進行多次試驗，使視頻摘要與人工標注更接近。

在步驟1)之前，所述視頻摘要方法還包括：