[發(fā)明專利]一種基于TLD算法的目標(biāo)檢測(cè)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710566987.7
• 申請(qǐng)日: 2017-07-12
• 公開（公告）號(hào): CN107392210A
• 公開（公告）日: 2017-11-24
• 發(fā)明（設(shè)計(jì)）人: 吳潤澤;徐智勇;張建林;魏子然;唐惜
• 申請(qǐng)（專利權(quán)）人: 中國科學(xué)院光電技術(shù)研究所
• 主分類號(hào): G06K9/46
• 分類號(hào): G06K9/46;G06K9/62
• 代理公司: 暫無信息
• 代理人: 暫無信息

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于TLD算法的目標(biāo)檢測(cè)跟蹤方法，特點(diǎn)是對(duì)TLD算法的檢測(cè)模塊中的掃描窗口的圖像進(jìn)行LBP特征的提取與統(tǒng)計(jì)，應(yīng)用于計(jì)算機(jī)視覺、目標(biāo)檢測(cè)、目標(biāo)跟蹤等，屬于計(jì)算機(jī)視覺中的目標(biāo)跟蹤領(lǐng)域。

背景技術(shù)

TLD跟蹤算法是由Zdenka Kalal提出的一種單目標(biāo)長時(shí)間跟蹤算法。該算法由跟蹤模塊、檢測(cè)模塊、學(xué)習(xí)模塊三個(gè)模塊組成。單純的跟蹤算法很難校正跟蹤的漂移誤差并且會(huì)不斷累積跟蹤的誤差，而且一旦目標(biāo)從視野中消失，跟蹤就不可避免地產(chǎn)生失敗。單純的檢測(cè)算法需要大量的樣本進(jìn)行離線的監(jiān)督訓(xùn)練，不能應(yīng)用于未知目標(biāo)的跟蹤任務(wù)，并且由于目標(biāo)模型是離線建立的，所以如果一旦目標(biāo)出現(xiàn)較大變化，跟蹤就很容易產(chǎn)生失敗。TLD將檢測(cè)算法和跟蹤算法結(jié)合起來并且通過學(xué)習(xí)來實(shí)時(shí)更新目標(biāo)模型。在TLD算法的NCC分類匹配的過程中主要利用圖像的灰度特征，是對(duì)掃描窗口得到的圖像塊歸一化后與目標(biāo)模型的正負(fù)樣本集進(jìn)行像素灰度的NCC匹配來得到目標(biāo)。兩個(gè)圖像塊相應(yīng)位置的像素灰度直接比對(duì)的方式雖然簡單但是并不魯棒，本文針對(duì)這一問題提出使用圖像塊的LBP統(tǒng)計(jì)特征進(jìn)行NCC匹配，從而實(shí)現(xiàn)更為魯棒的目標(biāo)跟蹤。

LBP(local binary pattern)局部二值模式，是一種用來描述圖像局部紋理特征的算子。基本的LBP于1994年提出，它反映的內(nèi)容是每個(gè)像素與周圍像素的關(guān)系。基本的LBP算子定義為在3*3的窗口內(nèi)，以窗口中心像素為閾值，將相鄰的8個(gè)像素的灰度值與其進(jìn)行比較，若周圍像素值大于中心像素值，則該像素點(diǎn)的位置被標(biāo)記為1，否則為0。這樣，3*3領(lǐng)域內(nèi)的8個(gè)點(diǎn)可產(chǎn)生8bit的無符號(hào)數(shù)，即得到該窗口的LBP值，并用這個(gè)值來反映該區(qū)域的紋理信息。

基本LBP算子可以被進(jìn)一步推廣為使用不同大小和形狀的鄰域。采用圓形的鄰域并結(jié)合雙線性插值運(yùn)算可以使我們獲得任意半徑和任意數(shù)目的鄰域像素點(diǎn)。半徑為R的圓形區(qū)域內(nèi)含有P個(gè)采樣點(diǎn)的LBP算子：

LBP算子利用了周圍點(diǎn)與該點(diǎn)的關(guān)系對(duì)該點(diǎn)進(jìn)行量化。量化后可以更有效地消除光照對(duì)圖像的影響。只要光照的變化不足以改變兩個(gè)點(diǎn)像素值之間的大小關(guān)系，那么LBP算子的值不會(huì)發(fā)生變化，所以一定程度上，LBP算子解決了光照變化的問題，但是當(dāng)圖像光照變化不均勻時(shí)，各像素間的大小關(guān)系被破壞，對(duì)應(yīng)的LBP模式也就發(fā)生了變化。

發(fā)明內(nèi)容

本發(fā)明要解決技術(shù)問題為：針對(duì)TLD算法中檢測(cè)模塊由最近鄰分類器直接對(duì)像素點(diǎn)進(jìn)行NCC匹配所造成的魯棒性不足和精度不高的問題，對(duì)該算法的檢測(cè)模塊進(jìn)行改進(jìn)，提出使用LBP的統(tǒng)計(jì)特征向量來重新構(gòu)造檢測(cè)模塊。在公開視頻數(shù)據(jù)集上進(jìn)行的實(shí)驗(yàn)表明，該方法可以在一定程度上提高跟蹤的魯棒性和精度。

本發(fā)明解決上述技術(shù)問題采用的技術(shù)方案為：一種基于TLD算法的目標(biāo)檢測(cè)跟蹤方法，在待跟蹤視頻的起始幀，由用戶指定跟蹤窗口形成正負(fù)樣本對(duì)檢測(cè)模塊進(jìn)行初始化訓(xùn)練。在跟蹤過程中，檢測(cè)模塊和跟蹤模塊獨(dú)立工作：檢測(cè)模塊掃描當(dāng)前幀圖像獲得圖像塊并依次通過方差分類器、合并分類器，并計(jì)算被接受的圖像塊的LBP統(tǒng)計(jì)特征向量，在最近鄰分類器中與樣本集中的圖像塊的LBP統(tǒng)計(jì)特征向量進(jìn)行相似度的計(jì)算；跟蹤模塊采用中值光流法通過上一幀跟蹤預(yù)測(cè)當(dāng)前幀目標(biāo)位置。整合模塊綜合檢測(cè)模塊和跟蹤模塊進(jìn)行跟蹤結(jié)果的輸出。并且對(duì)當(dāng)前更新后的目標(biāo)位置，產(chǎn)生新的正負(fù)樣本，從而更新檢測(cè)模塊。

其中，在待跟蹤視頻的起始幀中，由用戶指定跟蹤窗口，然后對(duì)距離指定的跟蹤窗口最近的掃描網(wǎng)格窗口中選取若干個(gè)窗口進(jìn)行一系列的仿射變換形成初始的正樣本，并對(duì)遠(yuǎn)離指定的跟蹤窗口隨機(jī)搜選獲得初始的負(fù)樣本。所獲得的正負(fù)初始樣本用來對(duì)檢測(cè)模塊進(jìn)行初始化訓(xùn)練。

其中，在跟蹤過程中，檢測(cè)模塊對(duì)當(dāng)前幀圖像進(jìn)行網(wǎng)格掃描獲得圖像塊后，首先計(jì)算各圖像塊的方差，方差小于某個(gè)閾值的圖像塊被接受，進(jìn)入合并分類器。通過若干個(gè)不同的基本分類器進(jìn)行的像素比較后得到的平均后驗(yàn)概率值，如果大于某個(gè)閾值，則判定當(dāng)前圖像塊為目標(biāo)區(qū)域，否則判定為背景。

其中，在跟蹤過程中，檢測(cè)模塊接受通過方差分類器和合并分類器的圖像塊，并計(jì)算每個(gè)圖像塊的LBP特征，然后對(duì)由此產(chǎn)生的每個(gè)圖像塊的LBP特征向量進(jìn)行直方圖統(tǒng)計(jì)產(chǎn)生新的LBP特征向量(即為LBP統(tǒng)計(jì)特征向量)。

其中，在跟蹤過程中，檢測(cè)模塊在獲得每個(gè)待檢測(cè)圖像塊的LBP統(tǒng)計(jì)特征向量后，與正負(fù)樣本集中的圖像塊的LBP統(tǒng)計(jì)特征向量進(jìn)行互相關(guān)歸一化的相似度計(jì)算。如果相似度大于某個(gè)閾值，則判定當(dāng)前圖像塊為目標(biāo)區(qū)域，否則判定為背景。