[發(fā)明專利]基于混成系統(tǒng)的全遮擋行人跟蹤方法及其裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201610303631.X
• 申請(qǐng)日: 2016-05-10
• 公開（公告）號(hào): CN107358620B
• 公開（公告）日: 2020-07-10
• 發(fā)明（設(shè)計(jì)）人: 胡士強(qiáng);張曉宇
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

一種基于混成系統(tǒng)的全遮擋行人跟蹤方法，根據(jù)行人運(yùn)動(dòng)特點(diǎn)以及在跟蹤中需要學(xué)習(xí)的行人特征，構(gòu)建相應(yīng)的跟蹤模型和辨識(shí)模型，行人未被遮擋時(shí)，跟蹤模型跟蹤行人的同時(shí)學(xué)習(xí)行人特征，行人被遮擋時(shí)通過模型轉(zhuǎn)移規(guī)則的感知條件感知行人被遮擋并切換為辨識(shí)模型；辨識(shí)模型利用學(xué)習(xí)到的行人特征從檢測(cè)結(jié)果中根據(jù)模型轉(zhuǎn)移規(guī)則的辨識(shí)條件不斷辨識(shí)失跟行人；在辨識(shí)模型辨識(shí)到失跟行人時(shí)，通過模型轉(zhuǎn)移規(guī)則的重置條件重置跟蹤行人的狀態(tài)并切換到跟蹤模型繼續(xù)跟蹤，實(shí)現(xiàn)存在全遮擋情況下的行人跟蹤；本發(fā)明設(shè)計(jì)合理，將模型驅(qū)動(dòng)和數(shù)據(jù)驅(qū)動(dòng)算法利用混成系統(tǒng)的思想整合在一起解決了這個(gè)實(shí)際問題，大大提高了跟蹤的準(zhǔn)確度和成功率。

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種計(jì)算機(jī)視覺監(jiān)控目標(biāo)跟蹤領(lǐng)域的技術(shù)，具體是一種基于混成系統(tǒng)的全遮擋行人跟蹤方法及其裝置。

背景技術(shù)

傳統(tǒng)的單個(gè)行人跟蹤主要有兩大類方法：目標(biāo)表示和定位、濾波與數(shù)據(jù)關(guān)聯(lián)。目前常用的行人跟蹤算法為第一類方法。這類方法又可分為三小類方法：生成式跟蹤、判別式跟蹤和檢測(cè)與跟蹤混合式跟蹤。生成式算法學(xué)習(xí)一個(gè)代表性模型表示跟蹤目標(biāo)并且利用該模型搜索使得重建誤差最小的圖像區(qū)域；判別式算法將跟蹤問題視為一個(gè)在局部搜索區(qū)域的二分類問題，利用學(xué)習(xí)到的分類器在當(dāng)前幀搜索得到與背景最具區(qū)分度的圖像區(qū)域。

基于目標(biāo)表示和定位的算法在最近十年來得到了長(zhǎng)足發(fā)展。針對(duì)行人的遮擋提出了一些切實(shí)有效的算法，比如L1跟蹤算法(Xue Mei and Haibin Ling,Robust VisualTracking and Vehicle Classification via Sparse Representation[J].IEEE TPAMI,November 2011,vol.33(11):2259-2271)將跟蹤轉(zhuǎn)化為在粒子濾波框架下稀疏近似問題。在跟蹤過程中，候選目標(biāo)利用目標(biāo)模板和瑣碎模板進(jìn)行線性表示。在遮擋出現(xiàn)時(shí)，有限的稀疏模板將被激活但是整個(gè)系數(shù)矢量仍然保持稀疏。FCT(Kaihua Zhang,Lei Zhang andMing-Hsuan Yang,Fast compressive tracking[J].IEEE T PAMI,October 2014,vol.36(10):2002-2015)模型是基于保留圖像結(jié)構(gòu)的非自適應(yīng)隨機(jī)映射的表觀模型。一個(gè)非常稀疏的量測(cè)矩陣從前景和背景目標(biāo)中提取有效的壓縮特征，跟蹤的任務(wù)由一個(gè)壓縮域中帶有在線更新功能的二分類器完成。表觀模型從不相關(guān)的量測(cè)中學(xué)習(xí)到了的目標(biāo)和背景的差異性，可以減小背景像素的影響，從而可以處理遮擋和跟蹤目標(biāo)姿態(tài)變化的問題?？偠灾?，這兩種方法利用他們具有區(qū)分性的目標(biāo)表觀表示和模型更新機(jī)制有效處理部分遮擋甚至嚴(yán)重遮擋。在遮擋出現(xiàn)時(shí)，他們充分利用了未被遮擋部分的目標(biāo)特征跟蹤目標(biāo)。但是當(dāng)目標(biāo)被全遮擋后，如果目標(biāo)的表觀模型停止模板更新，那么當(dāng)丟失目標(biāo)重新出現(xiàn)在目標(biāo)搜索范圍內(nèi)時(shí)算法能繼續(xù)跟蹤目標(biāo)。如果模板更新出現(xiàn)偏差或者丟失目標(biāo)出現(xiàn)在目標(biāo)搜索范圍以外，算法就會(huì)失效。

檢測(cè)和跟蹤結(jié)合的代表算法是TLD(Zdenek Kalal,Krystian Mikolajczyk,JiriMatas.Tracking-learning-detection[J].IEEE T PAMI,July 2012,34(7):1409-1422)算法。該算法中檢測(cè)器和跟蹤器同時(shí)估計(jì)目標(biāo)的候選位置。當(dāng)跟蹤結(jié)果更有效時(shí)輸出跟蹤結(jié)果，當(dāng)檢測(cè)結(jié)果更有效時(shí)重置目標(biāo)的位置。學(xué)習(xí)器利用最佳估計(jì)結(jié)果迭代訓(xùn)練更好的檢測(cè)器。該算法對(duì)剛性目標(biāo)有很好的跟蹤能力，但是對(duì)于行人跟蹤尤其存在全遮擋的行人跟蹤效果不好。濾波和數(shù)據(jù)關(guān)聯(lián)的方法中針對(duì)單目標(biāo)跟蹤常用的方法有PF濾波和Kalman濾波及其衍生的EKF濾波和UKF濾波。這些算法結(jié)合門技術(shù)可以實(shí)現(xiàn)目標(biāo)丟失的可靠判斷。然而當(dāng)目標(biāo)存在全遮擋的情況時(shí)，由于目標(biāo)運(yùn)動(dòng)信息的丟失導(dǎo)致后續(xù)跟蹤失效。為了實(shí)現(xiàn)行人遮擋前后的連續(xù)跟蹤，需要1)在行人被遮擋前很好的跟蹤行人并訓(xùn)練一些能辨識(shí)該行人的特征以便該行人在遮擋后再次出現(xiàn)時(shí)能被有效辨識(shí)；2)在行人被遮擋后停止基于行人狀態(tài)的跟蹤和對(duì)行人特征的學(xué)習(xí)；3)利用學(xué)習(xí)到的特征從檢測(cè)結(jié)果辨識(shí)到失跟行人時(shí)重置跟蹤狀態(tài)進(jìn)行跟蹤。