[發明專利]基于視覺感知能量的監控視頻運動片段分割方法

有效

• 申請號: 201610517130.1
• 申請日: 2016-07-04
• 公開（公告）號: CN106127813B
• 公開（公告）日: 2018-04-10
• 發明（設計）人: 張云佐
• 申請（專利權）人: 石家莊鐵道大學
• 主分類號: G06T7/20
• 分類號: G06T7/20
• 代理公司: 石家莊輕拓知識產權代理事務所(普通合伙)13128
• 代理人: 王占華

1.一種基于視覺感知能量的監控視頻運動片段分割方法，其特征在于包括如下步驟：

在運動目標移入、移出視覺監視區域的邊界處提取監控視頻序列的側面，分析視頻側面上的目標形變并建立VPE曲線；

檢測VPE的拐點，對正負能量拐點進行處理；

統計所有的正能量拐點處的VPE以及負能量拐點處的修正后的VPE，繪制累積VPE曲線；

根據累積VPE曲線進行監控視頻運動片段分割，其中VPE是指視覺感知能量；

所述的在運動目標移入、移出視覺監視區域的邊界提取監控視頻序列的側面的方法如下：

對于由大小為H×W的視頻幀組成的長度為L的視頻序列，用p_i,j表示視頻幀的第i行、第j列的像素值，那么第k′幀圖像的四個邊界Side(A)、Side(B)、Side(C)、Side(D)分別表示如下：

Side(A)：

Side(B)：

Side(C)：

Side(D)：

在視頻序列的每一幀的相同邊界采樣，得到一個像素陣列，將這些來自連續幀的像素陣列沿著時間軸連接起來，就形成了視頻的側面；

相應的，視頻序列的四個側面Profile(A)、Profile(B)、Profile(C)、Profile(D)分別表示如下：

Profile(A)：

PAi,jk′=p1,11p2,11p3,11...pH-1,11pH,11p1,12p2,12p3,12...pH-1,12pH,12p1,13p2,13p3,13...pH-1,13pH,13..................p1,1L-1p2,1L-1p3,1L-1...pH-1,1L-1pH,1L-1p1,1Lp2,1Lp3,1L...pH-1,1LpH,1LT]]>

Profile(B)：

PBi,jk′=pH,11pH,21pH,31...pH,W-11pH,W1pH,12pH,22pH,32...pH,W-12pH,W2pH,13pH,23pH,33...pH,W-13pH,W3..................pH,1L-1pH,2L-1pH,3L-1...pH,W-1L-1pH,WL-1pH,1LpH,2LpH,3L...pH,W-1LpH,WL]]>

Profile(C)：

PCi,jk′=p1,W1p2,W1p3,W1...pH-1,W1pH,W1p1,W2p2,W2p3,W2...pH-1,W2pH,W2p1,W3p2,W3p3,W3...pH-1,W3pH,W3..................p1,WL-1p2,WL-1p3,WL-1...pH-1,WL-1pH,WL-1p1,WLp2,WLp3,WL...pH-1,WLpH,WLT]]>

Profile(D)：

PDi,jk′=p1,11p1,21p1,31...p1,W-11p1,W1p1,12p1,22p1,32...p1,W-12p1,W2p1,13p1,23p1,33...p1,W-13p1,W3..................p1,1L-1p1,2L-1p1,3L-1...p1,W-1L-1p1,WL-1p1,1Lp1,2Lp1,3L...p1,W-1Lp1,WL;]]>

所述的分析視頻側面上的目標形變的方法如下：

建立平面直角坐標系，其中，y方向為運動目標將要跨越的視頻邊界，跨越邊界時，運動目標的速度為其分量分別為u和v，u與視頻邊界y正交，v與視頻邊界y平行，目標主姿態方向與視頻邊界y成β夾角；運動目標的形變包括水平方向形變和垂直方向形變兩個方面，水平方向的形變取決于運動目標的水平分速度u，即側面上目標的寬度與速度u成反比；如果運動目標以較高的速度u跨越視頻邊界，則目標寬度會變窄；反之，對于較低的速度u，運動目標的寬度會變寬；垂直方向的形變來源于夾角β和運動目標的垂直速度v，隨著β的增大，目標高度會被壓縮，隨著v的增大，目標高度會被拉伸；運動目標垂直于視頻邊界方向移入、移出視覺監視區域，視頻側面上的目標形變最小，選取水平方向和垂直方向作為視頻邊界；

對正負能量拐點進行處理的方法包括如下步驟：

對于正能量拐點：正能量拐點表明此時是運動目標移入視覺監視區域，建立目標的三個特征模型：表觀模型運動預測模型和時間連續性模型并形成匹配特征表保存到目標特征數據庫中，將此時的運動目標VPE保存為基準能量；

對于負能量拐點：負能量拐點表明此時是運動目標移出視覺監視區域，建立目標的三個特征模型：表觀模型運動預測模型和時間連續性模型并與目標特征數據庫進行匹配，如果匹配成功，則去掉目標特征數據庫中的對應特征模型，并對VPE進行能量修正，如果失配，則建立失配標記后返回；

在檢測VPE的拐點的過程中需要對VPE曲線進行描述，所述VPE曲線進行描述的方法如下：

視覺感知能量VPE采用運動目標的像素數進行表征，首先對視頻側面進行背景減除，方法如下：

將視頻幀的t時刻觀測值為X_t的每一個像素點的概率分布P(X_t)用K個加權高斯分布模型來表征，對應的顏色分布函數為η(X_t,μ_k,t,∑_k,t)，公式表示如下：

P(Xt)=Σk=1Kωk,t×η(Xt,μk,t,Σk,t)]]>

η(Xt,μk,t,Σk,t)=1(2π)n/2(|Σk,t|1/2)exp{-12(Xt-μk,t)TΣk,t-1Xt-μk,t}]]>

上式中：μ_k,t表示t時刻第k個高斯分布模型的均值，∑_k,t表示t時刻第k個高斯分布模型的方差，ω_k,t表示t時刻第k個高斯分布模型的權重，K的取值范圍為3～5；

在模型匹配的過程中，混合高斯模型方法將K個高斯分布的ω_k,t/σ_k,t按由大到小的順序進行排列，對于輸入的視頻幀，將其與K個高斯分布的每一個均值按順序依次進行比較，找到相匹配的高斯分布模型后，匹配過程結束，匹配條件為：

|X_t-μ_k,t|＜2.5σ_k,t

上式中：σ_k,t為對應的標準差；

如果滿足匹配條件的高斯模型存在，則對第一個匹配高斯模型的所有模型參數進行更新：

ω_k,t+1＝(1-α)×ω_k,t+α

μ_k,t+1＝(1-ρ)×μ_k,t+ρ×X_t+1

σk,t+12=(1-ρ)×σk,t2+ρ×(Xt+1-μk,t+1)T(Xt+1-μk,t+1)]]>

ρ＝α×(X_t+1|μ_k,t,σ_k,t)

而對于其它高斯分布模型，只更新權值ω_k,t+1，模型的均值和方差保持不變；

ω_k,t+1＝(1-α)×ω_k,t

如果滿足匹配條件的高斯模型不存在，則建立一個具有較高方差、較低權重、均值為X_t+1的高斯分布模型來替換第K個高斯模型；

模型參數更新完成以后，每個高斯模型有一個權重，按照權重進行降序排列，選取前N_B個高斯模型作為背景，N_B滿足以下公式：

NB=arg minb(Σk=1bωk,t>T)]]>

上式中：T表示背景所占的比例，T∈(0,1)；

在高斯背景模型中，視頻側面的每一列視作高斯模型的一個輸入，模型參數逐列進行更新，高斯均值μ和方差σ²的更新公式如下：

μt+1=(1-α)μt+αGBt+1(σ2)t+1=(1-α)(σ2)t+α(GBt+1-μt+1)(GBt+1-μt+1)T]]>

上式中：是視頻側面中列t+1的灰度，α為修正率，定義如下：

α=1/Mn,t<2000.005,t≥200]]>

其中：M_n是匹配次數，視頻側面的方差σ²為

σ2=σx1,y12σx2,y12...σxL,y12σx1,y22σx2,y22...σxL,y22............σx1,yp2σx2,yp2...σxL,yp2]]>

其中：y_p是視頻側面的個數，取4；

視頻側面的背景模型生成后，自適應的進行背景更新，檢測視頻側面的每一個像素I_p是否服從N(μ,δ)分布，前景運動目標通過以下公式獲得：

If=0,Ip~N(μ,δ)1,else]]>

根據上式，視頻側面上的運動目標可以從背景中分離出來，視頻側面上的單視頻幀目標像素數目為對應視頻幀的視覺感知能量VPE，視覺感知能量VPE大于設定閾值的視頻片段為運動片段；

視頻序列的每一幀F_i的A側面上的視覺感知能量VPE由以下公式計算得到：

VPEA(Fi)=Σj=1W{NA[If(Fi)]}j]]>

上式中：

NA[If(Fi)]=1,if[If(Fi)]j≠00,else]]>

相似的，可以得到：

VPEB(Fi)=Σj=1W{NB[If(Fi)]}j]]>

VPEC(Fi)=Σj=1W{NC[If(Fi)]}j]]>

VPED(Fi)=Σj=1W{ND[If(Fi)]}j]]>

將視頻序列每一幀的四個側面的視覺感知能量相加得到該視頻幀的視覺感知能量，如以下公式所示：

VPE(F_i)＝VPE_A(F_i)+VPE_B(F_i)+VPE_C(F_i)+VPE_D(F_i)

將視頻序列的每一幀的視覺感知能量VPE值連接起來，得到VPE曲線。