[發明專利]基于摘要空間特征學習的視頻摘要關鍵幀提取方法

有效

• 申請號: 201510357360.1
• 申請日: 2015-06-25
• 公開（公告）號: CN105025392B
• 公開（公告）日: 2017-12-19
• 發明（設計）人: 李學龍;盧孝強;趙斌
• 申請（專利權）人: 西北工業大學
• 主分類號: H04N21/8549
• 分類號: H04N21/8549;G06K9/62
• 代理公司: 西北工業大學專利中心61204
• 代理人: 王鮮凱

技術領域

本發明涉及一種視頻摘要關鍵幀提取方法，特別是涉及一種基于摘要空間特征學習的視頻摘要關鍵幀提取方法。

背景技術

文獻"S.Avila,A.Lopes,A.Luz Jr.,and A.Araujo.VSUMM:A Mechanism Designed to Produce Static Video Summaries and A novel Evaluation Method.Pattern Recognition Letters,32(1):56–68,2011"公開了一種基于視頻幀聚類的關鍵幀提取算法。這種算法將視頻幀的顏色直方圖特征作為輸入數據，同時以歐式距離度量視頻幀的相似性，進而利用k-均值聚類的方法將視頻幀分配到不同類簇，最后選取每一個類簇中心來作為關鍵幀。其中，類簇中心的個數是由視頻中鏡頭的個數決定的，而鏡頭邊界通過相鄰幀之間的歐氏距離的峰值確定，這一步驟適應了視頻數據的特點。但該方法假設視頻數據分布在關鍵幀周圍，過分依賴于聚類算法。由于缺乏準確度量視頻各幀間相似性的方式，數據分布的假設很難保證，往往導致聚類效果不佳，進而影響關鍵幀的質量。

發明內容

為了克服現有視頻摘要關鍵幀提取方法提取的關鍵幀質量差的不足，本發明提供一種基于摘要空間特征學習的視頻摘要關鍵幀提取方法。該方法對視頻幀進行均勻采樣，并對采樣后的每一幀提取顏色直方圖特征，將視頻幀的特征矩陣X作為輸入數據；利用Lipschtiz光滑的實函數，將視頻幀的特征矩陣X映射到摘要空間S，通過目標函數，對權重矩陣W進行求解，利用權重矩陣W進行代表幀提取,通過感知哈希算法，獲取視頻幀的圖像指紋，并計算兩個圖像指紋的漢明距離，若兩個代表幀圖像指紋的漢明距離H小于閾值，兩個視頻幀就被認定為相似幀，其中一幀將從代表幀集合移出。最終，得到滿足代表性和差異性要求的關鍵幀集合，將其按時間順序排列得到視頻摘要。由于關鍵幀代表性和差異性的度量能夠使視頻摘要在不存在信息冗余的條件下展現視頻內容，可以提高視頻摘要關鍵幀的質量。

本發明解決其技術問題所采用的技術方案是：一種基于摘要空間特征學習的視頻摘要關鍵幀提取方法，其特點是采用以下步驟：

步驟一、對視頻幀進行均勻采樣，然后對選取的每一個視頻幀建立HSV空間的顏色直方圖。其中，H通道16等分，S通道和V通道分別4等分，并將三個通道的統計數據歸一化，得到每一幀的特征向量。最終，得到視頻的特征矩陣X＝{x₁,x₂,...,x_n}，并將其作為輸入數。其中n為均勻采樣后視頻幀的數目，x_n為第n幀的特征向量。

步驟二、利用Lipschtiz光滑的實函數f將特征矩陣X映射到摘要空間S，

其中，f(x_i)是第i幀在摘要空間中的描述子。由于視頻數據中存在著很多信息冗余和數據聯系，視頻數據并不是均勻的分布在摘要空間S，而是分布在它的一個子空間上，該子空間記為M。在子空間M上，f由一組錨點的函數值{f(a_j)|a_j∈A,j＝1,2,...k}的線性組合近似，

其中，錨點集合A定義為k-均值聚類方法得到的聚類中心，固定k的取值為視頻總幀數的1/150。k-均值聚類方法將相似的幀分到同一類別中，不同的類別具有不同的內容，聚類中心是該類別中所有特征向量的均值向量，故每一個聚類中心作為Lipschtiz映射的錨點，其函數值可用來代表視頻的某一方面內容，并且{f(a_j)|a_j∈A,j＝1,2,...k}完整的代表視頻內容。那么，權重w_ij代表了視頻第i幀對視頻第j方面內容的表達能力。

步驟三、利用下面的目標函數優化求解權重矩陣W。

顯然，由于存在高維詛咒，很難直接對上式進行優化求解。然而，若f是一個(α,β,p)-Lipschitz實函數，W是錨點上的非負權重矩陣，對于任意的x_i，

其中，α，β和p都是可調參數。為了簡化問題，讓α＝β＝p＝1。式(4)表明，線性組合的近似殘差由(4)式的右側限制。也就是說，在不知道映射函數f以及摘要空間S的情況下求得權重矩陣W，極大地簡化了問題。優化函數如下：

其中，