[發明專利]基于多源圖像特征融合的在線目標跟蹤方法

有效

• 申請號: 201310064931.3
• 申請日: 2013-03-01
• 公開（公告）號: CN103136526A
• 公開（公告）日: 2013-06-05
• 發明（設計）人: 張艷寧;楊濤;陳挺
• 申請（專利權）人: 西北工業大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06T7/20
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 王鮮凱

1.一種基于多源圖像特征融合的在線目標跟蹤方法，其特征在于包括以下步驟：

步驟一、對可見光圖像中的R，G，B三個通道的信息再結合紅外圖像中的熱紅外灰度信息進行線性組合，產生融合圖像；線性組合的表達式如下，

F₁≡{w₁R+w₂G+w₃B+w₄I|w_*∈[-2，-1，0，1，2]}??????(1)

式中，R，G，B分別對應可見光圖像中的三個通道的圖像信息，I對應紅外圖像的熱紅外灰度信息，w*為相應的線性組合參數，取值范圍為-2到2；剔除等效組合方式(w₁，w₂，w₃，w₄)=k(w₁′，w₂′，w₃′，w₄′)；

步驟二、在每一個線性組合后的圖像上，分別計算目標區域與背景區域的直方圖統計信息；令目標的像素特征直方圖為H_obj(i)，背景樣本的像素特征直方圖為H_bg(i)，分別計算目標和背景的概率密度并進行歸一化得到

p(i)=H_obj(i)/n_obj??????(2)

q(i)=H_bg(i)/n_bg??????(3)

式中，n_obj、n_bg分別代表目標樣本和背景樣本的數量，p(i)、q(i)分別代表目標樣本和背景樣本的離散概率密度；利用p(i)、q(i)得到似然函數

L(i)=logmax{p(i),δ}max{q(i),δ}---(4)]]>

式中，δ=0.001，放置log出現為0的情況；通過計算L(i)的方差判斷目標樣本特征和背景樣本特征的差異度，利用方差計算公式var(x)=Ex²-(Ex)²得到

var(L;p,q)=Σia(i)L2(i)-[Σia(i)L(i)]2---(5)]]>

式中，a(i)是概率密度函數；從而得到似然函數的方差比公式

VR(L;p,q)≡var(L;(p+q)/2)var(L;p)+var(L;q)---(6)]]>

獲得所有樣本的數據，根據樣本的數據進行排序，得到最大的目標特征與背景特征的對比度，獲取最優的特征融合線性組合方式；

步驟三、首先通過基于角點檢測和非極大值抑制的方法對已經獲取的融合圖像上的目標物進行特征提取；然后利用RANSAC方法去除外點；最后用光流法計算保留下來的穩定特征點的特征光流，估計目標在下一幀出現的位置；采用光流描述相對于觀察者的運動所造成的觀測目標、表面或者邊緣的運動；通過圖像檢測出運動的瞬時速度或者離散圖像位移；每一個時刻均有一個二維或多維的向量集合(x，y,t)，(x，y,t)表示指定坐標在t點的瞬時速度；設I(x，y,t)為t時刻(x，y)點的強度，在很短的時間Δt內，x、y分別增加Δx、Δy，得：

I(x+Δx,y+Δy,t+Δt)=I(x,y,t)+∂I∂xΔx+∂I∂yΔy+∂I∂tΔt---(7)]]>

同時，考慮到兩幀相鄰圖像的位移足夠短，因此

I(x，y，t)=I(x+Δx，y+Δy，t+Δt)????(8)

從而得到

∂I∂xΔx+∂I∂yΔy+∂I∂tΔt=0---(9)]]>

∂I∂xΔxΔt+∂I∂yΔyΔt+∂I∂tΔtΔt=0---(10)]]>

最終得出結論：

∂I∂xVx+∂I∂yVy+∂I∂t=0---(11)]]>

式中，V_x和V_y是x和y的速率，稱為I(x，y,t)的光流，是圖像(x，y,t)在t時刻特定方向的偏導數；I_x、I_y、I_t的關系如下：

I_xV_x+I_yV_y=-I_t??????(12)

式中，I_x、I_y分別為特征點對應的x方向或者是y方向的梯度值，I_t是前后兩幀圖像在對應像素點位置的灰度差值；得出目標上選定的特征點的光流，在前一幀目標位置的基礎上估計出下一幀目標出現的位置；

步驟四、首先，產生目標可能出現的所有位置，輸入到第一層概率分類器進行投票，結果傳遞給Nearest?Neighbor分類器；其次，Nearest?Neighbor分類器對其進行決策，將可信度高的位置和其固有相似度輸出；再次，以Nearest?Neighbor分類器的輸出作為距離約束分類器的輸入，過濾掉距離已確認的跟蹤結果的可能位置；最后輸出的即檢測部分的最終結果；如果檢測部分的最終結果個數過多或過少，反饋到Nearest?Neighbor分類器和距離約束分類器階段調整閾值進行重新決策；

步驟五、根據每一幀圖像中的跟蹤結果和檢測結果，首先判斷跟蹤結果和檢測結果是否都存在，然后采用跟蹤與檢測協同機制對最終結果進行調整；最后通過反饋機制將最終結果用來調整跟蹤軌跡，并更新檢測過程中的各個分類器。