[發明專利]視頻圖像中內容的光流和輪廓特征動態結構融合方法

有效

• 申請號: 201310030401.7
• 申請日: 2013-01-25
• 公開（公告）號: CN103136730A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 藺廣逢;朱虹;范引娣;張二虎;繆亞林;康曉兵
• 申請（專利權）人: 西安理工大學
• 主分類號: G06T5/00
• 分類號: G06T5/00
• 代理公司: 西安弘理專利事務所 61214
• 代理人: 李娜

1.視頻圖像中內容特征動態結構融合方法，其特征在于，采用空間分布直方圖特征描述光流和輪廓，提取各自特征序列的動態模型的不變參數構建動態特征，然后通過子空間度量的方法求出各自的結構表征，最后通過廣義矩陣分解的方法求得融合結構，得出分類判別能力強的特征表征。

2.如權利要求1中的視頻圖像中內容特征動態結構融合方法，其特征在于，具體按照以下步驟實施：

步驟1，特定內容的光流和輪廓特征描述

設I(x,y)為圖像在點(x,y)處的像素值，其中，x和y分別表示點的橫縱坐標，令有光流矢量起點坐標的圖像像素值為1，有輪廓坐標的圖像像素值為1，其它圖像的像素值為0；

令c(x_c,y_c)為圖像的重心，x_c和y_c分別是重心的橫縱坐標，

xc=ΣxΣyx×I(x,y)ΣxΣyI(x,y)---(1)]]>

yc=ΣxΣyy×I(x,y)ΣxΣyI(x,y)---(2)]]>

特征表征為光流或輪廓空間點分布的特征，以距離重心c(x_c,y_c)最遠光流或輪廓上非零信息點的歐氏距離為半徑形成輪廓外接圓，外接圓的中心在重心c(x_c,y_c)上，以c(x_c,y_c)建立極坐標，在角度上分18等份，徑向上分等5份，在外接圓上會形成90個區域，統計在每個區域上的非零信息點個數，根據角度從小到大和徑向距離從小到大形成90維的向量，統計的起點為極坐標角度為0方向，光流或輪廓分別表征為90維的特征向量f₁和f₂；

步驟2，光流和輪廓特征序列動態特征獲取

（2.1）光流特征序列為{f₁(t)}1<t<τ，τ為視頻序列的幀數，t為序列數；

對光流特征序列進行奇異值分解得下式，

[f1(1),f1(2),...,f1(τ)]=U1S1V1T---(3)]]>

其中，U₁、V₁和S₁分別為式（3）左邊奇異值分解的行正交矩陣、列正交矩陣和對角矩陣；

C₁=U₁??????????（4）

A1=S1V1TD11V1(V1TD12V1)-1S1-1---(5)]]>

其中，C₁和A₁分別為光流特征序列的測量矩陣和轉換矩陣，D₁₁=[00;I_τ-10]，D₁₂=[I_τ-10;00]，I_τ-1為τ-1維單位矩陣；

則光流特征的序列動態特征為

O1T=[C1T,(C1A1)T,(C1A12)T,(C1A13)T,(C1A14)T,(C1A15)T]---(6);]]>

（2.2）輪廓特征序列為{f₂(t)}1<t<τ，τ為視頻序列的幀數，t為序列數；

對輪廓特征序列進行奇異值分解得下式，

[f2(1),f2(2),...,f2(τ)]=U2S2V2T---(7)]]>

其中，U₂、V₂和S₂分別為式（7）左邊奇異值分解的行正交矩陣、列正交矩陣和對角矩陣；

C₂=U₂??????????（8）

A2=S2V2TD21V2(V2TD22V2)-1S2-1---(9)]]>

其中，C₂和A₂分別為輪廓特征序列的測量矩陣和轉換矩陣，D₂₁=[00;I_τ-10]，D₂₂=[I_τ-10;00]，I_τ-1為τ-1維單位矩陣；

則輪廓特征的序列動態特征為

O2T=[C2T,(C2A2)T,(C2A22)T,(C2A23)T,(C2A24)T,(C2A25)T]---(10);]]>

步驟3，動態特征結構的度量

設視頻數據集的數目為m，為光流的序列動態特征集，其中，為的第m段視頻序列的光流特征的序列動態特征；為輪廓的序列動態特征集，其中，為的第m段視頻序列的輪廓特征的序列動態特征；

（3.1）對光流特征的序列動態特征度量，設為和的距離，和兩個子空間的標準正交基為T1_i={t1_i1,t1_i2,...,t1_i5}和R1_j={r1_j1,r1_j2,...,r1_j5}，則有

d1(O1iT,O1jT)=||B1T1i-B1R1j||2---(11)]]>

其中，B1T1i=[t1i1,t1i2,...,t1i5]×[t1i1,t1i2,...,t1i5]T,]]>B1R1j=[r1j1,r1j2,...,r1j5]×[r1j1,r1j2,...,r1j5]T;]]>

（3.2）對輪廓特征的序列動態特征度量，設為和的距離，和兩個子空間的標準正交基為T2_i={t2_i1,t2_i2,...,t2_i5}和R2_j={r2_j1,r2_j2,...,r2_j5}，則有

d2(O2iT,O2jT)=||B2T2i-B2R2j||2---(12)]]>

其中，B2T2i=[t2i1,t2i2,...,t2i5]×[t2i1,t2i2,...,t2i5]T,]]>B2R2j=[r2j1,r2j2,...,r2j5]×[r2j1,r2j2,...,r2j5]T;]]>

步驟4，動態特征結構融合映射

定義P1={O11T,O12T,...,O1mT}]]>和P2={O21T,O22T,...,O2mT}]]>特征結構測度相似矩陣，以步驟3計算度量的相似矩陣為W1={W1_i,j}和W2={W2_i,j}(i=1,2,...,m?j=1,2,...,m)如下式：

W1i,j=e-d1(O1iT,O1jT)0---(13)]]>

當時，和是近鄰，當W1_i,j=0時，和不是近鄰；

W2i,j=e-d2(O2iT,O2jT)0---(14)]]>

當時，和是近鄰，當W2_i,j=0時，和不是近鄰；

P=P1P2=[p1,p2,...,pm]---(15)]]>

其中，pi=O1iTO2iT;]]>

W_i,j=W1_i,j+W2_i,j??????????（16）

其中，W_i,j為W矩陣在i行j列的元素；

可以通過以下兩式求解，

(D_U-W_U)v=λD_Uv??????????（17）

(D_V-W_V)u=λD_Vu??????????（18）

其中，DU=ΣiDiipiUUTpiT,]]>Dii=ΣjWij,]]>WU=Σi,jWijpiUUTpiT,]]>DV=ΣiDiipiVVTpiT,]]>v為求解式（17）最小的d個廣義特征值λ₁<λ₂<...<λ_d對應的特征向量v₁,v₂,...,v_d，u為求解式（18）最小的d個廣義特征值λ₁<λ₂<...<λ_d對應的特征向量u₁,u₂,...,u_d；

求解U和V矩陣過程如下：

①設U為單位矩陣，求解式（17）最小的d個廣義特征值λ₁<λ₂<...<λ_d對應的特征向量v₁,v₂,...,v_d，則

V=[v₁,v₂,...,v_d]??????????（19）

②將V帶入式（18），求解最小的d個廣義特征值λ₁<λ₂<...<λ_d對應的特征向量u₁,u₂,...,u_d，則

U=[u₁,u₂,...,u_d]??????????（20）

再將U帶入式（17）求解，重復以上①和②過程20次，最終求得U和V矩陣；

最終結構融合的特征為Y，

Y=U^TPV??????????（21）。