[發明專利]基于顯著性區域的視頻關鍵幀提取方法

有效

• 申請號: 201810836824.0
• 申請日: 2018-07-26
• 公開（公告）號: CN108921130B
• 公開（公告）日: 2022-03-01
• 發明（設計）人: 馮德瀛;張來剛;趙穎;楚曉華
• 申請（專利權）人: 聊城大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/46;G06V10/28
• 代理公司: 濟南鼎信專利商標代理事務所(普通合伙) 37245
• 代理人: 曹玉琳

1.基于顯著性區域的視頻關鍵幀提取方法，其特征在于，具體包括如下步驟：

步驟一、對視頻數據進行采樣轉換，將視頻轉換為連續的幀圖像序列；

步驟二、在每幀圖像中利用頻譜殘差模型提取顯著性區域；

步驟三、根據圖像中顯著性區域的面積將其排序，并對排序靠前的顯著性區域進行顏色矢量化；

根據顯著性區域的面積，在圖像中將顯著性區域按照從大到小的順序進行排序，利用排序靠前的多個顯著性區域，就可以判斷前后幀圖像的相似性，針對每個顯著性區域，分別在R、G、B三個通道進行顏色矢量化，生成對應的顏色矢量，具體步驟包括：

1)在第i幀圖像I_i中，提取到的顯著性區域表示為其中是圖像I_i中第r個顯著性區域，對顯著性區域S_i按照面積從大到小的順序進行排序，取出排序靠前的前z個顯著性區域S′_i，表示為

2)對顯著性區域S′_i中第r個顯著性區域分別在R、G、B三個通道、灰度值為0到255的區間內進行直方圖統計，生成對應的顏色矢量和進而生成與第r個顯著性區域對應的顏色矢量相應地，顯著性區域S′_i對應的顏色矢量

步驟四、在前后幀圖像之間根據矢量化后的顯著性區域進行相似性度量，根據相似度的大小確定視頻關鍵幀；

在前后幀圖像之間通過顯著性區域對應的顏色矢量進行相似性度量，如果相似度較小，則前后幀圖像包含的內容差異較大，可以確定為關鍵幀，反之，如果相似度較大，則前后幀圖像包含的內容差異較小，從幀圖像序列中剔除，在所有幀圖像中完成相似性度量后，剩余的幀圖像即為視頻對應的關鍵幀序列，具體步驟包括：

1)為了判斷第i幀圖像I_i和第i+1幀圖像I_i+1的內容相似度，在它們對應的顏色矢量V_i和V_i+1之間進行余弦相似性度量，由于矢量V_i由z個分矢量所組成，進而矢量V_i和V_i+1之間的相似性度量就轉化為z個對應分矢量和之間的相似性度量，可以表示為

2)在z個對應分矢量和相似性度量完成后，可以得到z個相似性度量值，如果相似度較大，則說明前后幀圖像中的顯著性區域和包含的內容相似，如果相似度較小，則說明和包含的內容差異較大，對于幀圖像I_i和I_i+1之間的整體相似度，取z個相似度中的最小值，可以表示為從而可以反映出前后幀圖像包含內容的差異性；

3)在計算出幀圖像I_i和I_i+1之間的整體相似度后，設定相似度閾值T，如果sim(I_i,I_i+1)≤T，則說明I_i和I_i+1包含的內容差異較大，I_i和I_i+1均保留為關鍵幀圖像，如果sim(I_i,I_i+1)T，則說明I_i+1與I_i包含的內容相似度較高，I_i保留為關鍵幀圖像，而I_i+1從幀圖像序列中剔除，當依次遍歷所有的幀圖像后，即可最終確定視頻的關鍵幀圖像序列。

2.如權利要求1所述的基于顯著性區域的視頻關鍵幀提取方法，其特征在于，在步驟一種，根據視頻包含的總幀數和幀率，設定視頻采樣頻率，并根據采樣頻率將視頻轉換為一組連續的幀圖像序列；在視頻數據中，總幀數為N_T，幀率為n_f，采樣頻率為n_s，則采樣后的連續幀圖像序列為其中

3.如權利要求1所述的基于顯著性區域的視頻關鍵幀提取方法，其特征在于，在步驟二中，對每幀圖像在頻域內進行傅里葉變換，計算得出頻譜殘差，進而在時域內根據傅里葉反變換提取圖像中的顯著性區域，具體步驟包括：

1)在頻域內對第i幀圖像I_i進行傅里葉變換，得出變換后的幅度譜A(f)和相位譜P(f)，其中進而計算出對數幅度譜L(f)，其中L(f)＝log(A(f))；

2)設定一個n*n的局部均值濾波器h_n(f)，與對數幅度譜L(f)進行卷積，進而計算出頻譜殘差R(f)，其中R(f)＝L(f)-h_n(f)*L(f)；

3)在時域內對頻譜殘差R(f)進行傅里葉反變換，并采用高斯濾波器g(x)進行平滑，從而得出圖像I_i對應的顯著性區域S_i，其中