[發明專利]視頻中運動物體的檢測方法

有效

• 申請號: 201410228074.0
• 申請日: 2014-05-27
• 公開（公告）號: CN103971385A
• 公開（公告）日: 2014-08-06
• 發明（設計）人: 張小洪;趙晨丘;李飛;蒲薇欖;洪明堅;徐玲;楊夢寧;葛永新
• 申請（專利權）人: 重慶大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06K9/62
• 代理公司: 重慶博凱知識產權代理有限公司 50212
• 代理人: 王海鳳;穆祥維

1.視頻中運動物體的檢測方法，其特征在于具體包括如下步驟：

步驟a：

a1：建立初始圖像，設初始圖像共有Z個像素點，像素點E_j，1≤j≤Z對應一個單詞本C_j，單詞本C_j中有L個單詞，C_j＝{c_j1,c_j2,...,c_jλ,...,c_jL}，1≤λ≤L，單詞c_jλ由維數相等的表示像素特征向量的表示方差向量的和表示計數器向量的構成，cjλ={M→jλ,S→jλ,W→jλ};]]>

所述M→jλ={vgray,jλ,vred,jλ,vgreen,jλ,vblue,jλ,vtexture,jλ},]]>其中v_gray,jλ，v_red,jλ，v_green,jλ，v_blue,jλ和v_texture,jλ為像素特征向量的的向量元，分別表示初始圖像中像素點E_j經RGB轉灰度圖的方法后，像素點E_j對應的單詞本單詞c_jλ的灰度值，紅色分量的特征值，綠色分量的特征值，藍色分量的特征值和紋理特征值；

所述S→jλ={mgray,jλ,mred,jλ,mgreen,jλ,mblue,jλ,mtexture,jλ}]]>其中m_gray,jλ,m_red,jλ,m_green,jλ,m_blue,jλ,m_texture,jλ為方差向量的的向量元，分別表示像素點E_j對應的單詞本單詞c_jλ的像素特征向量中向量元v_gray,jλ對應的方差值，向量元v_red,jλ對應的方差值，向量元v_green,jλ對應的方差值，向量元v_blue,jλ對應的方差值和向量元v_texture,jλ對應的方差值；

所述W→jλ={wgray,jλ,wred,jλ,wgreen,jλ,wblue,jλ,wtexture,jλ}]]>其中w_gray,jλ,w_red,jλ,w_green,jλ,w_blue,jλ,w_texture,jλ為計數器向量的向量元，分別表示像素點E_j對應的單詞本單詞c_jλ的像素特征向量中向量元v_gray,jλ對應的計數值，向量元v_red,jλ對應的計數值，量元v_green,jλ對應的計數值，向量元v_blue,jλ對應的計數值和向量元v_texture,jλ對應的計數值；

a2：對初始圖像中所有像素點對應的單詞本中的單詞的向量元設置初始值：

a21：獲取視頻，所述視頻共有Q幀圖像，每幀圖像中像素點的數量相同都為H，H≤Z，視頻的第一幀圖像中的像素點B_ξ,1≤ξ≤H,像素點B_ξ由維數相等的表示像素特征向量的表示方差向量的和表示計數器向量的構成，

所述M→ξ={vgray,ξ,vred,ξ,vgreen,ξ,vblue,ξ,vtexture,ξ},]]>其中v_gray,ξ,v_red,ξ,v_green,ξ,v_blue,ξ和v_texture,ξ為像素特征向量的的向量元，分別表示第一幀圖像中的像素點B_ξ經RGB轉灰度圖的方法后，像素點B_ξ的灰度值，紅色分量的特征值，綠色分量的特征值，藍色分量的特征值和紋理特征值；

所述S→ξ={mgray,ξ,mred,ξ,mgreen,ξ,mblue,ξ,mtexture,ξ},]]>其中m_gray,ξ,m_red,ξ,m_green,ξ,m_blue,ξ和m_texture,ξ為方差向量的的向量元，分別表示第一幀圖像中的像素點B_ξ的像素特征向量中向量元v_gray,ξ對應的方差值，向量元v_red,ξ對應的方差值，向量元v_green,ξ對應的方差值，向量元v_blue,ξ對應的方差值和向量元v_texture,ξ對應的方差值；

所述W→ξ={wgray,ξ,wred,ξ,wgreen,ξ,wblue,ξ,wtexture,ξ},]]>其中w_gray,ξ,w_red,ξ,w_green,ξ,w_blue,ξ和w_texture,ξ為計數器向量的向量元，分別表示第一幀圖像中的像素點B_ξ的像素特征向量中向量元v_gray,ξ對應的計數值，向量元v_red,ξ對應的計數值，向量元v_green,ξ對應的計數值，向量元v_blue,ξ對應的計數值和向量元v_texture,ξ對應的計數值；

a22：提取視頻第一幀圖像中像素點B_ξ的像素特征向量中各向量元的值，1≤ξ≤H：

a221：提取像素點B_ξ的灰度值，使用RGB轉灰度圖的方法，得到第一幀圖像中像素點B_ξRGB的三個顏色分量red，green和blue，利用式(1)計算第一幀圖像中像素點B_ξ的灰度值:

v_gray,ξ＝red×0.299+green×0.587+blue×0.114(1)；

其中red，green，blue分別為像素點B_ξ的紅色分量的值、綠色分量的值和藍色分量的值；

a222：提取像素點B_ξ的三個顏色分量的特征值：

找出步驟a221得到的第一幀圖像中像素點B_ξ的三個顏色分量red，green和blue中的最大值，rate＝p/max(red,green,blue)，p為經驗值；

然后，利用式(2)～(4)分別計算第一幀圖像中像素點B_ξ的三個顏色分量的特征值，具體如下：

v_red,ξ＝red×rate(2)；

v_green,ξ＝green×rate(3)；

v_blue,ξ＝blue×rate(4)；

其中，v_red,ξ，v_green,ξ，v_blue,ξ分別為第一幀圖像中像素點B_ξ的紅色分量的特征值，綠色分量的特征值和藍色分量的特征值；

a223：提取像素點B_ξ的紋理特征值：

使用LBP算子對第一幀圖像中像素點B_ξ進行編碼，并采用SILTP對LBP算子的編碼添加約束，得到的編碼式為：

vtexture,ξ=resultN.R.Kτ(xξ,yξ)=K×Σk=0N-1sτ(vgray,ξ,vgray,ξk)---(5);]]>

sτ(vgray,ξ,vgray,ξk)=1,ifvgray>(1+τ)vgray,ξ,1,ifvgray,ξk<(1-τ)vgray,ξ,0,otherwise---(6);]]>

其中x_ξ,y_ξ分別表示第一幀圖像中像素點B_ξ的橫縱坐標，N為第一幀圖像中像素點B_ξ臨域的像素點數量，R表示以像素點B_ξ為圓心，在第一幀圖像中畫圓確定臨域時的半徑，v_gray,ξk為第一幀圖像中像素點B_ξ臨域中第k個像素點的灰度值，τ取0.05-0.1，s_τ(v_gray,j,v_gray,jk)為SILTP中關于v_gray,ξ,v_gray,ξk的基礎編碼函數，K是編碼結果的擴大倍數，取經驗值；

a23：將第一幀圖像中的像素點B_ξ與初始圖像中的像素點E_j一一對應，然后從初始圖像像素點E_j對應的單詞本C_j中隨機選取一個單詞，并將第一幀圖像中的像素點B_ξ的像素特征向量中的向量元對應地替換所述單詞的像素特征向量中的向量元，初始圖像中像素點E_j對應的單詞本C_j中的其他單詞的像素特征向量中的向量元設為特定值；所述初始圖像中像素點E_j對應的單詞本C_j中的每個單詞的方差向量中的各個向量元的初始值取經驗值，初始圖像中像素點E_j對應的單詞本C_j中的每個單詞的計數器向量中的各個向量元的初始值設為1；

步驟c：

c1：令i＝2：

c2：所述視頻中第i幀圖像中的像素點為B_iξ，所述像素點B_iξ由維數相等的表示像素特征向量的表示方差向量的和表示計數器向量的構成，

所述M→iξ={vgray,iξ,vred,iξ,vgreen,iξ,vblue,iξ,vtexture,iξ},]]>其中v_gray,iξ,v_red,iξ,v_green,iξ,v_blue,iξ和v_texture,iξ為像素特征向量的的向量元，分別表示第i幀圖像中的像素點B_iξ經RGB轉灰度圖的方法后，像素點B_iξ的灰度值，紅色分量的特征值，綠色分量的特征值，藍色分量的特征值和紋理特征值；

所述S→iξ={mgray,iξ,mred,iξ,mgreen,iξ,mblue,iξ,mtexture,iξ},]]>其中m_gray,iξ,m_red,iξ,m_green,iξ,m_blue,iξ和m_texture,iξ為方差向量的的向量元，分別表示第i幀圖像中的像素點B_iξ的像素特征向量中向量元v_gray,iξ對應的方差值，向量元v_red,iξ對應的方差值，向量元v_green,iξ對應的方差值，向量元v_blue,iξ對應的方差值和向量元v_texture,iξ對應的方差值；

所述W→iξ={wgray,iξξ,wred,iξ,wgreen,iξ,wblue,iξ,wtexture,iξ},]]>其中w_gray,iξ,w_red,iξ,w_green,iξ,w_blue,iξ,和w_texture,iξ為計數器向量的向量元，分別表示第i幀圖像中的像素點B_iξ的像素特征向量中向量元v_gray,iξ對應的計數值，向量元v_red,iξ對應的計數值，向量元v_green,iξ對應的計數值，向量元v_blue,iξ對應的計數值和向量元v_texture,iξ對應的計數值；

c3：令ξ＝1，j＝1；

c4：所述像素點B_iξ在第i幀圖像中的位置與像素點E_j在初始圖像中的位置相對應，采取與步驟a22相同的方法提取第i幀圖像中像素點B_iξ的像素特征向量中各向量元的值；

c5：將第i幀圖像中像素點B_iξ的像素特征向量中的灰度值v_gray,iξ與初始圖像中E_j對應單詞本C_j中的單詞c_jλ的灰度值v_gray,jλ進行一一比對，1≤λ≤L；

c51：設λ＝1；

c52：如果式(7)成立，則第i幀圖像中像素點B_iξ的像素特征向量中的灰度值v_gray,iξ與初始圖像中像素點E_j對應單詞本C_j中的單詞c_jλ的灰度值v_gray,jλ匹配：

|v_gray,iξ-v_gray,jλ|＜m_gray,jλ (7)；

a)前景檢測：

i.設stempjλvgray,iξ=0,mtempjλvgray,iξ=0;]]>

ii.stempjλvgray,iξ=stempjλvgray,iξ+wgray,jλ,]]>

mtempjλvgray,iξ=mtempjλvgray,iξ+wgray,jλ;]]>

b)初始圖像中像素點E_j對應單詞本C_j中的單詞c_jλ的灰度值v_gray,jλ更新：

v_gray,jλ＝a_b×v_gray,jλ+(1-a_b)×v_gray,iξ (8)；

m_gray,jλ＝a_m×m_gray,jλ+(1-a_m)×|v_gray,iξ-v_gray,jλ+K_m| (9)；

w_gray,jλ＝w_gray,jλ+1 (10)；

其中，a_b取值為0.95-0.99，a_m取值為0.95-0.99，K_m為經驗值，完成對初始圖像中像素點E_j對應單詞本C_j中的單詞c_jλ的灰度值v_gray,jλ更新；

c53：如果式(7)不成立，則第i幀圖像中像素點B_iξ的像素特征向量中的灰度值與初始圖像中像素點E_j對應單詞本C_j中的單詞c_jλ的灰度值v_gray,jλ不匹配，令stempjλvgray,iξ=stempjλvgray,iξ+wgray,jλ;]]>

c6：根據步驟c5中所述的方法對第i幀圖像中像素點B_iξ的像素特征向量中的紅色分量的特征值v_red,iξ與初始圖像中E_j對應單詞本C_j中的單詞c_jλ的紅色分量的特征值v_red,jλ進行一一比對；

c7：根據步驟c5中所述的方法對第i幀圖像中像素點B_iξ的像素特征向量中的綠色分量的特征值v_green,iξ與初始圖像中E_j對應單詞本C_j中的單詞c_jλ的綠色分量的特征值v_green,jλ進行一一比對；

c8：根據步驟c5中所述的方法對第i幀圖像中像素點B_iξ的像素特征向量中的藍色分量的特征值v_blue,iξ與初始圖像中E_j對應單詞本C_j中的單詞c_jλ的藍色分量的特征值v_blue,jλ進行一一比對；

c9：根據步驟c5中所述的方法對第i幀圖像中像素點B_iξ的像素特征向量中的紋理特征特征值v_texture,iξ與初始圖像中E_j對應單詞本C_j中的單詞c_jλ的紋理特征特征值v_texture,jλ進行一一比對；

c10：令λ＝λ+1，當λ＝L+1時執行步驟c11，否則執行步驟c52；

c11：所述λ遍歷其取值范圍，選取初始圖像中像素點E_j對應單詞本C_j中匹配次數最少的單詞min{mtempjλvgray,iξ,1≤λL},]]>將該單詞記為目標單詞：

c111：如果第i幀圖像中像素點B_iξ的像素特征向量中的灰度值v_gray,iξ與初始圖像中E_j對應單詞本C_j中的所有單詞的灰度值都不匹配，那么用第i幀圖像中像素點B_iξ的像素特征向量中的灰度值v_gray,iξ替換目標單詞的灰度值，并將目標單詞的匹配次數重置為1，目標單詞對應的方差值賦予初始值；

c112：如果第i幀圖像中像素點B_iξ的像素特征向量中的紅色分量的特征值w_red,iξ與初始圖像中E_j對應單詞本C_j中的所有單詞的紅色分量的特征值都不匹配，用第i幀圖像中像素點B_iξ的像素特征向量中紅色分量的特征值v_red,iξ替換目標單詞的紅色分量的特征值，并將目標單詞的匹配次數重置為1，目標單詞對應的方差值賦予初始值；

c113：如果第i幀圖像中像素點B_iξ的像素特征向量中的綠色分量的特征值v_green,iξ與初始圖像中E_j對應單詞本C_j中的所有單詞的綠色分量的特征值都不匹配，用第i幀圖像中像素點B_iξ的像素特征向量中綠色分量的特征值v_green,iξ替換目標單詞綠色分量的特征值，并將被目標單詞的匹配次數重置為1，目標單詞對應的方差值賦予初始值；

c114：如果第i幀圖像中像素點B_iξ的像素特征向量中的藍色分量的特征值v_blue,iξ與初始圖像中E_j對應單詞本C_j中的所有單詞的藍色分量的特征值都不匹配，用第i幀圖像中像素點B_iξ的像素特征向量中藍色分量的特征值v_blue,iξ替換目標單詞藍色分量的特征值，并將目標單詞的匹配次數重置為1，目標單詞對應的方差值賦予初始值；

c115：如果第i幀圖像中像素點B_iξ的像素特征向量中的紋理特征值v_texture,iξ與初始圖像中E_j對應單詞本C_j中的所有單詞的紋理特征值都不匹配，用第i幀圖像中像素點B_iξ的像素特征向量中紋理特征值v_texture,iξ替換目標單詞的紋理特征值，并將目標單詞的匹配次數重置為1，目標單詞對應的方差值賦予初始值；

步驟d：根據式(11)計算第i幀圖像中像素點B_iξ的像素特征向量中向量元與初始圖像中像素點E_j對應單詞本C_j中單詞的向量元對應進行比較的總次數svalue，根據式(12)計算第i幀圖像中像素點的像素特征向量中向量元與初始圖像中像素點E_j對應單詞本C_j中單詞的向量元對應匹配的總匹配次數mvalue：

svalue=Σλ=1λ=Lstempjλvgray,iξ+Σλ=1λ=Lstempjλvred,jξ+Σλ=1λ=Lstempjλvgreen,iξ+Σλ=1λ=Lstempjλvblue,iξ+Σλ=1λ=Lstempjλvtexture,iξ---(11);]]>

mvalue=Σλ=1λ=Lmtempjλvgray,iξ+Σλ=1λ=Lmtempjλvred,jξ+Σλ=1λ=Lmtempjλvgreen,iξ+Σλ=1λ=Lmtempjλvblue,iξ+Σλ=1λ=Lmtempjλvtexture,iξ---(12);]]>

步驟e：拷貝第i幀圖像作為副本，第i幀圖像中的像素點B_iξ在副本中對應的像素點為B′_iξ；

e1：根據式(13)計算第i幀圖像中像素點B_iξ與初始圖像中像素點E_j的相似度η，η=mvaluesvalue---(13);]]>

e11：如果相似度η大于閾值T_p，則所述副本中的像素點B′_iξ為背景，將像素點B′_iξ涂黑；否則所述副本中的像素點B'_iξ為前景，將像素點B'_iξ涂白；

e12：經過步驟e11處理后得到圖像為待輸出圖像，對其進行緩存；

e2：令j＝j+1，ξ＝ξ+1，當ξ＝H+1時執行步驟e3，否則執行步驟c4；

e3：令i＝i+1，當i＝Q+1時，執行步驟f，否則執行步驟c2；

步驟f：輸出步驟e12中緩存的待輸出圖像，其中所述待輸出圖像中的白色部分為視頻中的運動物體。