[發(fā)明專利]一種多車道車輛軌跡時(shí)空圖的自動(dòng)生成方法

有效

• 申請?zhí)枺?/td>: 201410146310.4
• 申請日: 2014-04-11
• 公開（公告）號(hào): CN103903019B
• 公開（公告）日: 2017-12-15
• 發(fā)明（設(shè)計(jì)）人: 陳陽舟;任建強(qiáng);辛樂;石建軍;李寶同;劉逸男
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06K9/66
• 分類號(hào): G06K9/66;G06T7/80
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司11203
• 代理人: 沈波

1.一種多車道交通時(shí)空軌跡圖的自動(dòng)生成方法，其特征在于包括以下步驟：

步驟1，設(shè)置初始參數(shù)；包括設(shè)置感興趣區(qū)域、手工指定各車道線的初始位置、在車流上游位置設(shè)置三條垂直于車道的虛擬檢測帶1、2、3和對攝像機(jī)進(jìn)行參數(shù)標(biāo)定；

步驟2，在幀圖像中基于三級虛擬檢測帶進(jìn)行車輛特征點(diǎn)的自動(dòng)提取和按車輛分組；

步驟2.1，基于局部變更新率背景建模提取局部前景并消除活動(dòng)陰影；

(1)對三級虛擬檢測帶進(jìn)行變更新率局部動(dòng)態(tài)背景建模；

對各虛擬檢測帶內(nèi)的每個(gè)像素，根據(jù)其在最近歷史幀中的采樣值{X¹,X²,…,X^t}采用K個(gè)高斯分布的疊加進(jìn)行建模；然后，對新像素值X^t+1按ω_i,t/σ_i,t降序與該點(diǎn)各高斯分布進(jìn)行匹配；對匹配成功的高斯分布更新如下：

ωi,t+1=(1-α)ωi,t+αμi,t+1=(1-ρ)μi,t+ρXt+1σi,t+12=(1-ρ)σi,t2+ρ(Xt+1-μi,t)2ρ=αη(Xt+1|μi,t,σi,t)]]>

對未匹配的高斯分布，均值和方差保持不變，權(quán)值更新為ω_i,t+1＝(1-α)ω_i,t，α為Log-Sigmoid型動(dòng)態(tài)自適應(yīng)更新速率，計(jì)算公式如下：

α=α01+e-β(l-ξ)]]>

式中，α₀為交通暢通時(shí)的更新速率；β決定Log-Sigmoid型函數(shù)的陡度；l為由步驟3跟蹤程序反饋而來的車體區(qū)域特征點(diǎn)組位置到虛擬檢測帶3的最小像素距離；ξ為車輛間距估計(jì)值，取為場景中車輛平均長度統(tǒng)計(jì)值，基于前2級虛擬檢測帶中心線生成的當(dāng)前時(shí)刻之前的全景視圖計(jì)算得到，公式如下：

ξ=1mΣi=1mΔd·liFs·(ti2-ti1)]]>

式中，m為兩級全景視圖中成功匹配的車輛前景塊個(gè)數(shù)，l_i為第i個(gè)前景塊長度，和分別為第i輛車在兩級全景視圖中的前景塊中心t坐標(biāo)，Δd為兩級虛擬帶的距離，F(xiàn)_s為幀頻；

對于與任何分布匹配均不成功的新像素值X^t+1，以X^t+1為均值、以一個(gè)較大值為方差構(gòu)造一個(gè)新的高斯分布并代替ω_i,t/σ_i,t最小的分布來完成更新；對各高斯分布按ω_i,t/σ_i,t降序選取前B個(gè)分布作為當(dāng)前點(diǎn)的背景模型，其中：

B=argminb(Σk=1bωi,t>T)]]>

式中，T為計(jì)入背景的最小閾值；

(2)提取局部前景并消除活動(dòng)陰影；

基于背景差分法分割各虛擬檢測帶上的活動(dòng)前景，并采用前景像素值與對應(yīng)位置處的背景像素值的局部紋理特征相似性原理有效去除前景中包含的車輛活動(dòng)陰影；

步驟2.2，提取特征點(diǎn)并按車輛進(jìn)行分組；

(1)提取特征點(diǎn)；

利用文獻(xiàn)Tomasi方法，在三級虛擬檢測帶的局部前景圖像序列中對駛過的車輛進(jìn)行易跟蹤特征點(diǎn)的逐級遞增式提取，充分保障車輛前景特征點(diǎn)的提取效果；

(2)對特征點(diǎn)按車輛進(jìn)行分組；

基于三級虛擬檢測帶生成三級前景全景視圖并結(jié)合Adaboost智能分類器進(jìn)行特征點(diǎn)的按車分組；具體方法如下：

首先，按下式方法分別將視頻序列在三級虛擬檢測帶中心線上的前景像素信息以時(shí)間順序依次排列生成三級前景全景視圖：

Ptk=Xkt,k∈{1,2,3}]]>

Ptk=[Pt,0k,Pt,1k,...,Pt,Nk]T]]>

Xkt=[X0,ykt,X1,ykt,...,XN,ykt]]]>

其中，P_t^k為第k級PVI的t時(shí)刻列像素向量，為第k級虛擬檢測帶中心線位置的t時(shí)刻像素向量，N為虛擬檢測帶中心線的像素級長度，y_k為第k級虛擬檢測帶中心線y坐標(biāo)；

然后，在目標(biāo)剛剛駛離第三級檢測帶時(shí)，利用Adaboost智能分類器在原始圖像中進(jìn)行車輛識(shí)別并根據(jù)識(shí)別結(jié)果對特征點(diǎn)進(jìn)行分組；Adaboost智能分類器在原始圖像中的施用區(qū)域由該目標(biāo)在三級全景視圖中的前景塊下面記為B^k,k∈{1,2,3}及相互匹配情況來確定；

施用區(qū)域左下頂點(diǎn)圖像坐標(biāo)及區(qū)域?qū)挾葁^Adaboost計(jì)算如下：

xLbAdaboost=xLbB3]]>

yLbAdaboost=y3]]>

wAdaboost=wB3]]>

其中，為B³外接矩形的左下角頂點(diǎn)圖像坐標(biāo)，y³為第三級虛擬檢測帶中心線y坐標(biāo)，為B³外接矩形的寬度；

施用區(qū)域高度h^Adaboost的計(jì)算，分為如下三種情況：

第1種情況：目標(biāo)在三級全景視圖中形成的前景塊B³、B²和B¹均相互匹配成功，則：

hAdaboost=lB3·|y3-y2|(t3-t2)·Fs]]>

其中，為B³外接矩形的長度，y²為第二級虛擬檢測帶中心線y坐標(biāo)，t³和t²分別是目標(biāo)到達(dá)第三、二級虛擬檢測帶中心線的時(shí)刻值，F(xiàn)_s為幀頻；

第2種情況：B³只與B²、B¹中的一個(gè)匹配成功，記為B'，則：

hAdaboost=lB3·|y3-y′|(t3-t′)·Fs]]>

其中，y'為B'所在虛擬檢測帶中心線y坐標(biāo)，t'為目標(biāo)到達(dá)B'所在虛擬檢測帶中心線的時(shí)刻值；

第3種情況：B²與B¹匹配成功，但均不能與B³匹配，則：

hAdaboost=|y2-y1|(t2-t1)·Fs·(max(lB3,lB2,lB1)+Δh)]]>

其中，Δh為分離距離修正量，構(gòu)造為

(3)同車特征點(diǎn)組的表示；

步驟(2)能將絕大多數(shù)的粘連車輛分離并確定各車輛的車體區(qū)域；對落在同一車體區(qū)域的特征點(diǎn)采用邊加權(quán)動(dòng)態(tài)圖G＝{V,E,W}表述；其中，V為同車特征點(diǎn)集；E為V內(nèi)各特征點(diǎn)間的優(yōu)化邊集，采用Delaunay三角剖分法構(gòu)造得到；W為邊權(quán)集，各邊權(quán)值取為該邊所連特征點(diǎn)對的運(yùn)動(dòng)特征相關(guān)度，初始化為車體區(qū)域長度l_vehicle，并在后繼跟蹤中動(dòng)態(tài)修改；

步驟3，特征點(diǎn)跟蹤與分組修正；

步驟3.1，特征點(diǎn)跟蹤；

在后繼幀的圖像金字塔中計(jì)算稀疏光流進(jìn)行特征點(diǎn)跟蹤，過程中若發(fā)現(xiàn)某個(gè)特征點(diǎn)在后繼幀中的位置發(fā)生了變動(dòng)，則分別以變動(dòng)前后的這兩個(gè)點(diǎn)為中心，在各自的幀圖像中分別計(jì)算其n×n鄰域窗口的局部二元圖紋理特征值并進(jìn)行匹配；若匹配成功則表明兩點(diǎn)處的局部紋理特征一致，位置變動(dòng)后的特征點(diǎn)有效；否則，表明該特征點(diǎn)在跟蹤過程中發(fā)生了漂移，此時(shí)將其剔除；

步驟3.2，基于運(yùn)動(dòng)特征相關(guān)度修正誤分組特征點(diǎn)并剔除干擾點(diǎn)；

在跟蹤過程中，采用狀態(tài)空間轉(zhuǎn)移模型來表述特征點(diǎn)對的運(yùn)動(dòng)關(guān)系并結(jié)合Kalman濾波對步驟2結(jié)果中存在的誤分組特征點(diǎn)進(jìn)行必要的分組修正，同時(shí)對一些可能出現(xiàn)的干擾點(diǎn)進(jìn)行剔除；x軸方向上，對具有邊連接關(guān)系的特征點(diǎn)對i和j，以表示其在t時(shí)刻的運(yùn)動(dòng)關(guān)系狀態(tài)向量其中和分別為兩點(diǎn)間的x方向距離、距離變化速率和變化加速度，則此特征點(diǎn)對可表述為：

Yi,j(t)=HXi,j(t)+η]]>

其中，為t-1時(shí)刻特征點(diǎn)對的狀態(tài)向量，為t時(shí)刻的狀態(tài)測量向量，和η分別為系統(tǒng)噪聲向量和測量噪聲向量，A為轉(zhuǎn)移矩陣，H為觀測矩陣；t時(shí)刻狀態(tài)預(yù)測值及狀態(tài)修正值可由點(diǎn)對在上一時(shí)刻t-1的歷史信息遞推得到，具體如下：

X^i,j(t)=AXi,j(t-1)]]>

Xi,j(t)=X^i,j(t)+K(Yi,j(t)-HX^i,j(t))]]>

式中，K為Kalman修正矩陣；為誤差向量，其第一分量表征t時(shí)刻的點(diǎn)對距離測量值與預(yù)測值的差異，若該值為正，則表明點(diǎn)對可能出現(xiàn)分離趨勢，此時(shí)將該邊權(quán)值減1；若該邊權(quán)值已減為0，則表明該點(diǎn)對不屬于同一車輛，此時(shí)斷開該點(diǎn)對的連接，實(shí)現(xiàn)特征點(diǎn)的分組修正；進(jìn)而，如果某點(diǎn)已無任何邊與其相連，則將其作為干擾點(diǎn)剔除；

步驟4，車輛軌跡提取與多個(gè)車道的時(shí)空軌跡圖自動(dòng)生成；

步驟4.1，車輛駛出感興趣區(qū)域時(shí)提取其軌跡；

車輛駛出感興趣區(qū)域時(shí)，基于下述加權(quán)平均式計(jì)算其V中各特征點(diǎn)的分布中心

x‾=12nΣ1≤i≤nmixi]]> 3

y‾=12nΣ1≤i≤nmiyi]]>

其中，n為V的尺度，x_i和y_i為第i個(gè)特征點(diǎn)的圖像坐標(biāo)，m_i為第i個(gè)特征點(diǎn)的權(quán)重；

進(jìn)而，計(jì)算V中各個(gè)特征點(diǎn)i與分布中心的歐氏距離d_i,p，按照d_i,p升序選取前K個(gè)點(diǎn)構(gòu)成分布中心的K-最近鄰點(diǎn)集C并按下式選取第j個(gè)特征點(diǎn)的軌跡作為當(dāng)前車輛軌跡：

j=argmaxp∈Clp]]>

其中，l_p為K-最近鄰點(diǎn)集C中特征點(diǎn)p的軌跡長度；

步驟4.2，根據(jù)各輛車的軌跡數(shù)據(jù)自動(dòng)生成多個(gè)車道的時(shí)空軌跡圖；

(1)生成縱向時(shí)空軌跡圖；

為每條車道自動(dòng)生成駛過車輛的縱向時(shí)空軌跡圖；對每一輛車，其軌跡表述為點(diǎn)序列可表是為T＝{<x₁,y₁,f₁>,…,<x_j,y_j,f_j>,…,<x_M,y_M,f_M>}；其中，三元組結(jié)構(gòu)分量x_j、y_j和f_j分別為第j個(gè)軌跡點(diǎn)的x軸、y軸圖像坐標(biāo)及軌跡點(diǎn)所在幀號(hào)，M為該軌跡中的點(diǎn)數(shù)；對各軌跡點(diǎn)<x_j,y_j,f_j>，首先根據(jù)坐標(biāo)值判斷其所在車道號(hào)k，計(jì)算公式為：

k=q,(xql<xj<xqr|yql=yj=yqr)]]>

其中，為第q條車道左邊界線上的點(diǎn)坐標(biāo)，為第q條車道右邊界線上的點(diǎn)坐標(biāo)；

然后將該軌跡點(diǎn)繪入第k幅時(shí)空圖的(t_j,d_j)坐標(biāo)處：

t_j＝f_j/F_s

d_j＝|Y_j-Y_O|

其中，F(xiàn)_s為攝像機(jī)幀頻，Y_O為起始參考點(diǎn)的世界Y坐標(biāo)，在此起始參考點(diǎn)取為第一級虛擬檢測帶中心線左端點(diǎn)；Y_j為當(dāng)前軌跡點(diǎn)的世界Y坐標(biāo)；各點(diǎn)的世界坐標(biāo)值可由其圖像坐標(biāo)與攝像機(jī)標(biāo)定參數(shù)計(jì)算得來；

(2)生成橫向時(shí)空軌跡圖；

生成一幅含所有車道的橫向時(shí)空軌跡圖；對第i輛車的軌跡T_i中的各軌跡點(diǎn)<x_j,y_j,f_j>，其在橫向時(shí)空軌跡圖中的坐標(biāo)(t_j,d_j)滿足：

t_j＝f_j/F_s

d_j＝|X_j-X_O|

其中，X_O為起始參考點(diǎn)的世界X坐標(biāo)，X_j為當(dāng)前軌跡點(diǎn)的世界X坐標(biāo)；

步驟5，若處于車道修正階段，則每新增γ條軌跡進(jìn)行一次基于粗糙k-均值軌跡聚類的車道位置自動(dòng)修正；否則，直接跳轉(zhuǎn)至步驟2；

步驟5.1，在設(shè)置初始參數(shù)時(shí)確定聚類參數(shù)k及初始聚類中心；

(1)確定聚類參數(shù)k：

聚類數(shù)目k即為車道數(shù)，對于確定的監(jiān)控場景k為已知常數(shù)，可人工設(shè)定；

(2)確定初始聚類中心：

對于各聚類的初始聚類中心c_i，即每條車道的初始中心線，根據(jù)步驟1中人工設(shè)定的感興趣區(qū)域和各車道線初始位置數(shù)據(jù)計(jì)算得到，具體為：

xci=xil+xir2|yil=yir=yci∈[yi,t,yi,b]]]>

其中，i為車道號(hào)且i∈{1,2,…,k}，c_i為第i條車道的中心線點(diǎn)集，為c_i中的各點(diǎn)坐標(biāo)；為第i條車道左邊界線上的點(diǎn)坐標(biāo)，為第i條車道右邊界線上的點(diǎn)坐標(biāo)，最兩側(cè)車道的外邊界即為感興趣區(qū)域外邊界；y_i,t、y_i,d分別為當(dāng)前車道上、下頂點(diǎn)縱坐標(biāo)；

步驟5.2，基于粗糙k-均值聚類實(shí)現(xiàn)車道分割線位置修正；

(1)確定本次新增軌跡集中每條軌跡T_χ的上、下近似歸屬；

計(jì)算軌跡T_χ和各個(gè)聚類中心的Hausdorff距離h(T_χ,c_i),i＝1,2,...,k，公式如下：

h(Tχ,ci)=1NχΣa∈Tχminb∈ci||(xa-xb,ya-yb)||]]>

其中，N_χ為軌跡T_χ的長度；

并找出與T_χ距離最短的類m，即則：

其中，λ為判定閾值、表示第m車道類的上近似集、C_m表示第m車道類的下近似集；

(2)更新聚類中心，公式如下：

ci=wlΣTχ∈Ci‾Tχ/|Ci‾|+(1-wl)ΣTχ∈(Ci‾-Ci‾)Tχ/|Ci‾-Ci‾|,Ci‾≠Ci‾ΣTχ∈Ci‾Tχ/|Ci‾|,Ci‾=Ci‾]]>

其中，i∈{1,2,…,k}，權(quán)值w_l∈[0.5,1]、|·|表示基數(shù)；

(3)根據(jù)聚類后的車道中心線修正車道分割線位置，公式如下：

xLinei=xci+xci+12|yci=yci+1=yLinei∈[yLineit,yLineib]]]>

其中，i為車道分割線號(hào)且i∈{1,2,…,k-1}；及為第i條車道線兩側(cè)的車道中心線上的點(diǎn)坐標(biāo)；和分別為當(dāng)前車道分割線的上、下頂點(diǎn)縱坐標(biāo)。