[發(fā)明專利]基于相關(guān)濾波的抗遮擋目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811071458.0
• 申請(qǐng)日: 2018-09-14
• 公開（公告）號(hào): CN109299735B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 肖剛;趙俊豪;張星辰;杜爾·普拉薩德·巴維瑞瑟特;張強(qiáng);王彥然;劉藝博
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06T7/13;G06T7/73
• 代理公司: 上海交達(dá)專利事務(wù)所 31201
• 代理人: 王毓理;王錫麟

一種基于相關(guān)濾波的抗遮擋目標(biāo)跟蹤方法，在手動(dòng)選擇跟蹤目標(biāo)之后先使用LCT跟蹤器中的運(yùn)動(dòng)相關(guān)濾波器和外觀相關(guān)濾波器分別對(duì)目標(biāo)的平移及目標(biāo)的尺度進(jìn)行估計(jì)并得到目標(biāo)跟蹤結(jié)果，并在丟失目標(biāo)時(shí)分別采用在線分類器的檢測(cè)結(jié)果作為跟蹤結(jié)果以恢復(fù)準(zhǔn)確目標(biāo)跟蹤或采用重新檢測(cè)器和LCT跟蹤器進(jìn)行交替繼續(xù)跟蹤。

技術(shù)領(lǐng)域

本發(fā)明涉及的是一種機(jī)器視覺領(lǐng)域的技術(shù)，具體是一種基于相關(guān)濾波的抗遮擋目標(biāo)跟蹤方法。

背景技術(shù)

目前，目標(biāo)跟蹤是機(jī)器視覺領(lǐng)域的熱點(diǎn)，其主要分為生成性跟蹤器和判別性跟蹤器。前者是指對(duì)目標(biāo)的外觀建模，在接下來的幀中找到與目標(biāo)外觀相似程度最高的區(qū)域作為跟蹤結(jié)果。這類跟蹤器的模型在線構(gòu)建，一般都能保證實(shí)時(shí)性(大于等于25fps)，然而容易受到噪聲影響并且沒有利用背景信息，容易導(dǎo)致跟蹤框漂移。后者把跟蹤視作一個(gè)分類問題，這類跟蹤器同時(shí)考慮目標(biāo)和背景信息，通過提取特征和訓(xùn)練分類器，分離目標(biāo)和背景，然后更新分類器以適應(yīng)目標(biāo)變化。然而，判別性跟蹤器沒有考慮到目標(biāo)的運(yùn)動(dòng)信息和連續(xù)幀之間的關(guān)系。盡管目標(biāo)跟蹤技術(shù)正在不斷進(jìn)步，但至今沒有一個(gè)完美的跟蹤能夠?qū)崿F(xiàn)在所有情況下的魯棒跟蹤。就遮擋而言，生成性跟蹤器和判別性跟蹤器也不能完美處理目標(biāo)的全遮擋或者消失。因此一個(gè)好的跟蹤器必須兼顧生成性和判別性跟蹤器的優(yōu)點(diǎn)，并實(shí)時(shí)應(yīng)用于任何情況。

發(fā)明內(nèi)容

本發(fā)明針對(duì)現(xiàn)有基于相關(guān)濾波的跟蹤器均沒有很好地解決目標(biāo)遮擋問題或者僅僅針對(duì)目標(biāo)的部分遮擋(目標(biāo)遮擋面積小于等于目標(biāo)總面積50％)和短時(shí)全遮擋的缺陷和不足，提出一種針對(duì)目標(biāo)長(zhǎng)時(shí)間全遮擋情況的基于相關(guān)濾波的抗遮擋目標(biāo)跟蹤方法，在LCT(Long-term Correlation Tracking)跟蹤器的基礎(chǔ)上，加入了一個(gè)根據(jù)相關(guān)濾波響應(yīng)值變化而設(shè)計(jì)的遮擋判據(jù)和一個(gè)重新檢測(cè)器，本方法跟蹤更具魯棒性和精確性。

本發(fā)明是通過以下技術(shù)方案實(shí)現(xiàn)的：

本發(fā)明涉及一種基于相關(guān)濾波的抗遮擋目標(biāo)跟蹤方法，在手動(dòng)選擇跟蹤目標(biāo)之后先使用LCT跟蹤器中的運(yùn)動(dòng)相關(guān)濾波器和外觀相關(guān)濾波器分別對(duì)目標(biāo)的平移及目標(biāo)的尺度進(jìn)行估計(jì)并得到目標(biāo)跟蹤結(jié)果，并在丟失目標(biāo)時(shí)分別采用在線分類器的檢測(cè)結(jié)果作為跟蹤結(jié)果以恢復(fù)準(zhǔn)確目標(biāo)跟蹤或采用重新檢測(cè)器和LCT跟蹤器進(jìn)行交替繼續(xù)跟蹤。

所述的LCT跟蹤器是指：在第一幀手動(dòng)選擇目標(biāo)后，在所選區(qū)域上訓(xùn)練相關(guān)濾波器來對(duì)目標(biāo)外觀建模，對(duì)于隨后的幀，相關(guān)濾波器會(huì)在上一幀的位置附近對(duì)該幀的圖像塊卷積，卷積后的輸出對(duì)應(yīng)一個(gè)灰度響應(yīng)圖，該灰度反映了相關(guān)程度，灰度值越高，則相關(guān)程度越大，在響應(yīng)圖中擁有最大灰度的位置就是目標(biāo)的新位置。

所述的丟失目標(biāo)，包括：由于形變、亮度變化、快速運(yùn)動(dòng)和復(fù)雜背景導(dǎo)致跟蹤丟失的目標(biāo)以及由于全遮擋導(dǎo)致跟蹤丟失的目標(biāo)，其中：當(dāng)當(dāng)前幀目標(biāo)外觀相關(guān)濾波器響應(yīng)值低于設(shè)定閾值，則啟動(dòng)在線分類器進(jìn)行檢測(cè)；當(dāng)最近的連續(xù)5幀目標(biāo)外觀相關(guān)濾波器響應(yīng)值滿足目標(biāo)遮擋判據(jù)時(shí)，則停止LCT跟蹤器跟蹤并換用重新檢測(cè)器從后一幀開始進(jìn)行目標(biāo)檢測(cè)，當(dāng)未檢測(cè)到目標(biāo)時(shí)進(jìn)入下一幀，否則將檢測(cè)到的目標(biāo)信息，即目標(biāo)框?qū)挕⒏吆湍繕?biāo)框中心位置再次輸入LCT跟蹤器進(jìn)行跟蹤，最終得到退出遮擋后的跟蹤結(jié)果。

所述的相關(guān)濾波器的大小與選擇的圖像塊大小相同，將輸入的圖像和相關(guān)濾波器進(jìn)行快速傅里葉變換(Fast Fourier Transform，F(xiàn)FT)轉(zhuǎn)到傅里葉域，在該域中相關(guān)操作變?yōu)辄c(diǎn)積，即G＝F⊙H^*，其中：F＝F(f_im)和H＝F(h)表示為圖像f_im和濾波器h轉(zhuǎn)至傅里葉域，⊙和*分別為點(diǎn)乘操作和共軛轉(zhuǎn)置；隨后使用FFT的逆變換F^-1將G變回到空間域，得到響應(yīng)圖。整個(gè)過程的計(jì)算復(fù)雜度僅為O(PlogP)，其中：P為跟蹤窗口中的像素?cái)?shù)。