[發明專利]視覺屏蔽雙層AP視頻摘要生成方法

有效

• 申請號: 201910823672.5
• 申請日: 2019-09-02
• 公開（公告）號: CN110674347B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 劉佶鑫;余丹
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F16/738
• 分類號: G06F16/738;G06F16/75
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 許婉靜

1.視覺屏蔽雙層AP視頻摘要生成方法，其特征在于，包括以下步驟：

步驟1，獲取待處理視頻；

步驟2，獲取待處理視頻后，利用壓縮感知理論對視頻的每一幀進行視覺屏蔽，得到CS降維后的視頻；

對于視頻的降維，就是隨機產生一個與視頻的長和寬一致的觀測矩陣，利用該觀測矩陣分別將視頻的每一幀圖片降維到CS1層，得到CS1層的視頻；再將CS1層視頻作為待降維的視頻，隨機產生一個與CS1層視頻長寬一致的測量矩陣，以同樣的方式得到CS2層的視頻；CS3層及更低維的視頻參考CS1層及CS2層的視頻獲取方式獲得；

步驟3，對降維后的視頻的每一幀提取PHOG特征得到N維特征序列{b₁,b₂,…,b_N}；

步驟4，對N維特征序列{b₁,b₂,…,b_N}進行分組，每N_τ幀為一組，分出S組；

步驟5，采用AP算法對S組特征序列分別聚類，得到第一階段的S組關鍵幀；

步驟6，合并S組關鍵幀，得到第一階段的關鍵幀序列；

步驟7，提取第一階段關鍵幀的灰度直方圖特征，與對應的PHOG特征進行融合得到PHOG-Hist融合特征序列{c₁,c₂,…,c_N1}；

步驟8，采用AP算法對融合特征序列{c₁,c₂,…,c_N1}進行聚類，得到最終的輸出視頻摘要。

2.根據權利要求1所述的視覺屏蔽雙層AP視頻摘要生成方法，其特征在于，步驟5進一步包括：

步驟5.1，對第一組特征序列計算序列之間的相似度矩陣s₁如下：

其中p(i)為聚類點之間的偏好度信息；

步驟5.2，初始化AP算法中的代表度矩陣r(i,j)＝0和吸引度矩陣a(i,j)＝0；

步驟5.3，通過迭代產生聚類中心：

r^(t)(i,j)←λr^(t-1)(i,j)+(1-λ){s(i,j)-max_j≠j'[a^t-1(i,j')+s(i,j')]}

j＝arc max{r(i,j)+a(i,j)}時，選擇j點為聚類中心，得到τ₁個聚類中心，對應τ₁幀關鍵幀keyF1＝keyF1_ii∈[1,...,τ₁]；

步驟5.4，對第2組，…，第S組特征序列分別計算序列之間的相似度矩陣s₂，…，s_S，由步驟5.2和步驟5.3得到另外S-1組關鍵幀keyF2,...,keyFS。

3.根據權利要求2所述的視覺屏蔽雙層AP視頻摘要生成方法，其特征在于，步驟6進一步包括：

步驟6.1，合并S組關鍵幀，組成一個N1幀的關鍵幀序列作為第一階段得到N1幀的關鍵幀序列：keyF＝[keyF1,keyF2,...,keyFS]。

4.根據權利要求3所述的視覺屏蔽雙層AP視頻摘要生成方法，其特征在于，步驟7進一步包括：

步驟7.1，提取第一階段得到的N1幀關鍵幀的灰度直方圖特征H＝{h₁,h₂,...,h_N1}，獲取對應的PHOG特征P＝{p₁,p₂,...,p_N1}；

步驟7.2，分別求出兩個特征序列中的特征值的最大值max(H)和max(P)，對步驟7.1中的H和P中的元素進行歸一化處理，得到歸一化后的灰度直方圖特征和PHOG特征：H_norm＝H/max(H)和P_norm＝P/max(P)；

步驟7.3，將歸一化后的灰度直方圖特征和PHOG特征進行融合得到PHOG-Hist融合特征序列

5.根據權利要求4所述的視覺屏蔽雙層AP視頻摘要生成方法，其特征在于，步驟8進一步包括：

步驟8.1，采用AP算法對N1維融合特征序列進行聚類，其過程類似于步驟5.1-5.3，得到的聚類中心對應的幀就是最終的輸出視頻摘要。