[發明專利]基于超圖主集聚類的多視頻摘要獲取方法

有效

• 申請號: 201710427912.0
• 申請日: 2017-06-08
• 公開（公告）號: CN107203636B
• 公開（公告）日: 2020-06-16
• 發明（設計）人: 冀中;張媛媛
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06F16/735;G06F16/73;G06K9/00
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉國威

1.一種基于超圖主集聚類的多視頻摘要獲取方法，其特征是，首先構建視頻關鍵幀內容節點超圖，通過二分類的主集聚類得到候選關鍵幀集；然后利用網頁圖片與視頻集在同一事件主題下的共性關系，得到與主題相關性程度高且冗余性小的關鍵幀集；最后通過視頻幀在視覺上的連貫性對關鍵幀集進行排序，實現多視頻摘要的獲取；構建超圖模型，關聯矩陣H(v,e)定義如下：

A_S＝H*W*H′–Dv (2)

其中A(i,j)＝exp(-dis(v_i,v_j))，v_i是屬于超邊e_j的任意頂點，v_j是超邊e_j的中心點，dis(v_i,v_j)為頂點v_i到超邊中心點v_j歸一化后的距離，超邊的權重w(e_i)定義為頂點的度定義為d(v)＝∑_e∈Ew(e)·h(v,e)，頂點的度和超邊權重構成的對角線矩陣分別稱為頂點度矩陣D_v，超邊權重矩陣W，A_S為(2)式中得到的鄰接矩陣；

二分類的主集聚類是通過迭代求解二次方程將圖劃分為不同主集，具體表示如下：

max f(x)＝x^TA_Sx (3)

s.t.x∈Δ (4)

其中,稱作Rⁿ上的標準單純形，另外式(3)中的目標函數提供了一個集群的凝聚力的度量，f(x)表示相應簇的內聚性，向量x的支持集被定義為向量x中非零元素的下標集合，即σ(x)＝{x∈V:x_i＞0}，那么主集與二次型(3)的局部解之間就建立了聯系，因此通過求解二次型的局部最大值來求解主集，最直接的求解方法就是繁殖方程法，其復制動態方程由(5)式表示：

網頁圖片和視頻集在同一主題下存在共性關系，通過網頁圖片對聚類得到的候選關鍵幀進行選擇得到主題相關性程度高且冗余性小的關鍵幀集，設計如下目標函數：

其中，m表示關鍵幀集合幀的個數，F_m代表已選擇的關鍵幀集合，Q為同一主題查詢的網頁圖片，保證了關鍵幀的主題相關性,g表示已經得到的關鍵幀集合中的某一幀，sim(s_i,g)代表要選定的幀和得到的關鍵幀集合中某一幀g的余弦相似性，保證關鍵幀集合F_m的新穎性，λ是用來平衡這兩項性質的參數。

2.如權利要求1所述的基于超圖主集聚類的多視頻摘要獲取方法，其特征是，二分類的主集聚類具體地，X＝{x₁,x₂,…,x_n}表示給定事件的n幀的特征集，其中利用主集聚類對給定事件的視頻幀集進行聚類：

1)輸入超圖G＝(V,E,H)及其得到的鄰接矩陣A_S,V為特征集X的頂點集合，E為超邊集合，H為超圖關聯矩陣；

2)初始化迭代次數t＝1并初始化向量X(t)＝[(1/n),(1/n),…,(1/n)]_n×1,n表示的是n幀特征集；

3)計算

4)輸出一個簇，其頂點是矢量X(t)的正分量x_i(t)按降序排列，并讓第一頂點代表這個簇；

5)從特征集X中刪除這些頂點及其在超圖中的親和力關系；

6)轉到步驟2)重復此過程直到將所有視頻幀分類完畢，得到最終分類結果Cluster 1到Cluster k。

3.如權利要求2 所述的基于超圖主集聚類的多視頻摘要獲取方法，其特征是，得到候選關鍵幀的具體步驟是，同一個類別C_i中的視頻幀具有相似的視覺或語義內容，因此首先從每類中選取一幀作為候選關鍵幀，其規則為從每類中選取距離該類平均特征向量距離最近的一幀作為候選關鍵幀，即：

其中表示C_i中視頻幀的特征向量的中心值，a表示C_i中任意一個特征向量，通過式(6)得到主集聚類得到的候選關鍵幀集合S＝{s₁,s₂,…,s_k}，s_i表示第i類視頻幀的聚類中心。