[發明專利]基于運動軌跡分析的視頻關鍵幀提取方法

有效

• 申請號: 201610270653.0
• 申請日: 2016-04-27
• 公開（公告）號: CN105931270B
• 公開（公告）日: 2018-03-27
• 發明（設計）人: 張云佐;王學軍;趙正旭
• 申請（專利權）人: 石家莊鐵道大學
• 主分類號: G06T7/215
• 分類號: G06T7/215;G06T7/246
• 代理公司: 石家莊輕拓知識產權代理事務所(普通合伙)13128
• 代理人: 秦燕

技術領域

本發明涉及圖像處理方法技術領域，尤其涉及一種基于運動軌跡分析的視頻關鍵幀提取方法。

背景技術

隨著視頻數據的爆炸式增長，快速、準確地分析和瀏覽視頻已經成為一個迫切需要解決的難題。關鍵幀提取作為一種解決方案越來越受到人們的關注。關鍵幀是一種經典、高效的視頻濃縮形式，用關鍵幀代替原視頻可以大大降低數據量，同時也便于檢索和瀏覽視頻。由于視頻數據的多樣性和復雜性，以及關鍵幀的視覺主觀性，目前復雜場景下的關鍵幀提取仍然是一項極具挑戰性的課題。

評價關鍵幀主要看其能否全面、準確的再現原視頻的主要事件，在保證全面提取的情況下，盡量降低冗余。廣泛應用的關鍵幀提取算法多是基于視頻底層特征分析的，以單幀或少量幀的特征變化為標準提取關鍵幀。由于缺乏完整時間維的特征分析，難以從整體上把握關鍵幀的數量及位置，并且容易受到場景變化、目標姿態變化、目標遮擋等干擾造成重要特征漏檢，進而導致真正的關鍵幀沒有被提取到。提取結果與視頻的真實語義之間存在差異，不能全面、準確的反應視頻的真實語義，也就是說，關鍵幀提取結果不符合人眼視覺感知。

人眼視覺總是傾向于關注運動的目標，運動狀態改變比運動本身更具視覺吸引力。因為相比于只包含勻速運動狀態目標的視頻幀，包含目標運動狀態改變(比如：啟動、停止、加速、減速、伸手、彎腰以及方向改變等)的視頻幀能夠提供更多的有用信息。

文獻1(key frame extraction based on spatiotemporal motion trajectory Optical Engineering Volume 54,Issue 5)給出了一種提取固定數目時空切片(記作N_us)的方法，但是該方法難以選取合適的N_us，因為它與算法計算量以及時空切片運動軌跡MTSS完整度密切相關。N_us越大，MTSS越完整，但計算量也會隨之增加，致使上述方法幾乎不可能同時做到計算高效和MTSS的完整提取。再者，大多數監控視頻中，運動目標稀疏的分散到冗長的視頻流中，存在著大量的靜止片段，造成視頻關鍵幀很難被有效的提取出來。

發明內容

本發明所要解決的技術問題是提供一種基于運動軌跡分析的視頻關鍵幀提取方法，所述方法提取的視頻關鍵幀具有更高的準確性，且計算量較小。

為解決上述技術問題，本發明所采取的技術方案是：一種基于運動軌跡分析的視頻關鍵幀提取方法，其特征在于所述方法包括如下步驟：

對視頻時空切片進行粗略提取，確認運動片段；

對運動片段內的時空切片進行精細提取，提取出時空切片運動軌跡MTSS；

對時空切片運動軌跡MTSS進行預處理，檢測時空切片運動軌跡MTSS的方向曲線拐點I_d和尺度曲線拐點I_s；

根據檢測到的時空切片運動軌跡MTSS的方向曲線拐點I_d和尺度曲線拐點I_s確定運動目標尺度和方向拐點I_s,d，進行關鍵幀提取并輸出關鍵幀。

進一步的技術方案在于：所述視頻時空切片是水平切片，定義尺度和方向發生改變的幀為關鍵幀。

進一步的技術方案在于：視頻V(x,y,t)的水平切片S_k表示為：

式中：表示視頻中位置x＝j,y＝k,t＝i處的像素，滿足j∈[1,W],k∈[1,H],i∈[1,L]，W×H表示視頻幀的大小，L表示視頻的長度。

進一步的技術方案在于：水平切片S_k上的時空切片運動軌跡MTSS表示為：

進一步的技術方案在于：所述的對視頻內的時空切片進行粗略提取，確認運動片段的方法如下：在粗略提取中，提取較少數量的時空切片N_ss來確定視頻運動片段，時空切片運動軌跡MTSS表征運動目標的存在，時空切片運動軌跡MTSS的像素數目N_m表征運動目標的相對顯著性，基于公式(2)，第F_i幀的N_m由下式計算得到：

式中：

根據公式(3)，一定數量的時空切片N_ss上的N_m表示為：

N_m＝N_m(1)∪N_m(2)∪…∪N_m(N_ss) (5)