[發明專利]基于視覺感知能量的監控視頻運動片段分割方法

有效

• 申請號: 201610517130.1
• 申請日: 2016-07-04
• 公開（公告）號: CN106127813B
• 公開（公告）日: 2018-04-10
• 發明（設計）人: 張云佐
• 申請（專利權）人: 石家莊鐵道大學
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 石家莊輕拓知識產權代理事務所(普通合伙)13128
• 代理人: 王占華

技術領域

本發明涉及圖像處理方法技術領域，尤其涉及一種基于視覺感知能量的監控視頻運動片段分割方法。

背景技術

視頻的結構化就是對視頻數據流在時間軸上進行層次分割，完成從原始的非結構化的視頻流到結構化的視頻實體的轉換。將原始的視頻流分割為有意義的、易于管理的視頻結構單元，形成視頻內容的層次結構，方便視頻內容的分析與管理。

視頻是非結構化的數據流，其實質是一系列在時間上連續的圖像幀。這些圖像幀只有相互間的時序關系，而沒有任何結構信息。視頻分割即按照視頻內容或視頻中的特定標示從數字視頻序列中檢測出層次化的結構單元，為不同層次的結構單元建立索引信息，以便于按照具體內容來存儲、管理、分析和處理視頻數據。視頻數據流按照從抽象到具體的順序可以劃分為四個層次的結構單元：視頻、場景、鏡頭和幀，其層次化結構如圖1所示。

數據驅動分割是根據鏡頭切換時視頻數據所呈現的特征變化進行視頻鏡頭分割的一種方法。這種視頻鏡頭分割方法的理論依據是：同一鏡頭內的相鄰兩幀之間的視頻數據特征變化不大，特征差值會分布在某一閾值內；而如果相鄰的兩幀之間的特征差值超過了設定的閾值，則說明此處是鏡頭切換點，可以被認為是視頻分割的邊界。數據驅動分割雖然實現簡單，但卻忽視了視頻中存在的結構變化，如果閾值選取的不恰當，像淡入、淡出這種視頻鏡頭漸變切換過程就會被漏檢。模型驅動分割則與數據驅動分割完全不同，它避開了數據驅動分割中的閾值選擇問題，而是基于視頻編輯模型檢測視頻鏡頭邊界。視頻編輯模型包括：簡單色彩編輯模型、復合色彩編輯模型和空間編輯模型。

現有的基于鏡頭邊界檢測的視頻分割方法通常以視頻特征的變化程度作為視頻鏡頭分割的依據。這些視頻特征包括顏色、形狀、邊緣以及運動矢量等等。在像素域處理算法中，視頻鏡頭分割主要利用顏色直方圖特征；在壓縮域視頻分割算法中，一般利用運動矢量特征。這兩類算法的處理思路基本一致，都是通過比較相鄰視頻幀之間的特征差值與設定閾值來確定鏡頭邊界。如果特征差值大于設定閾值，則視當前位置為鏡頭邊界，反之則不是鏡頭邊界。鏡頭邊界檢測的準確度取決于特征差值的定義和設定的閾值。在監控視頻中，人們更為關注其中的運動片段，而運動片段“零星”的分散在冗長的監控視頻中。為此，以運動片段為基本單元對監控視頻進行分割具有重要的現實意義。

發明內容

本發明所要解決的技術問題是提供一種基于視覺感知能量的監控視頻運動片段分割方法，所述方法提高了監控視頻運動片段分割的準確率，需要處理的視頻數據量也大大降低。

為解決上述技術問題，本發明所采取的技術方案是：一種基于視覺感知能量的監控視頻運動片段分割方法，其特征在于包括如下步驟：

在運動目標移入、移出視覺監視區域的邊界處提取監控視頻序列的側面，分析視頻側面上的目標形變并建立VPE曲線；

檢測VPE的拐點，對正負能量拐點進行處理；

統計所有的正能量拐點處的VPE以及負能量拐點處的修正后的VPE，繪制累積VPE曲線；

根據累積VPE曲線進行運動片段分割，其中VPE是指視覺感知能量。

進一步的技術方案在于：所述方法還包括將分割后的運動片段進行整合的步驟。

進一步的技術方案在于：運動目標移入視覺監視區域產生正能量，運動目標移出視覺監視區域產生負能量。

進一步的技術方案在于：通過設置視頻次邊界來判斷目標運動方向，該視頻次邊界位于所述視頻邊界內，且臨近并平行于視頻邊界，如果運動目標中心先通過視頻邊界，后通過視頻次邊界，認為目標是移入視覺監視區域；反之，認為目標是移出視覺監視區域。

進一步的技術方案在于：所述的在運動目標移入、移出的邊界提取監控視頻序列的側面的方法如下：

對于由大小為H×W的視頻幀組成的長度為L的視頻序列，用p_i,j表示視頻幀的第i行、第j列的像素值，那么第k幀圖像的四個邊界Side(A)、Side(B)、Side(C)、Side(D)分別表示如下：

Side(A)：

Side(B)：

Side(C)：

Side(D)：

在視頻序列的每一幀的相同邊界采樣，得到一個像素陣列，將這些來自連續幀的像素陣列沿著時間軸連接起來，就形成了視頻的側面；

相應的，視頻序列的四個側面Profile(A)、Profile(B)、Profile(C)、Profile(D)分別表示如下：

Profile(A)：