[發(fā)明專利]一種基于深度檢測(cè)的長(zhǎng)時(shí)目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010051443.9
• 申請(qǐng)日: 2020-01-17
• 公開(kāi)（公告）號(hào): CN111274917B
• 公開(kāi)（公告）日: 2023-07-18
• 發(fā)明（設(shè)計(jì)）人: 葛洪偉;邵江南;韓青麟;鄭俊豪
• 申請(qǐng)（專利權(quán)）人: 江南大學(xué)
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 哈爾濱市陽(yáng)光惠遠(yuǎn)知識(shí)產(chǎn)權(quán)代理有限公司 23211
• 代理人: 彭素琴

本發(fā)明公開(kāi)了一種基于深度檢測(cè)的長(zhǎng)時(shí)目標(biāo)跟蹤方法，屬于模式識(shí)別和智能信息處理領(lǐng)域。本發(fā)明的方法采用MDNet深度檢測(cè)跟蹤框架，通過(guò)在難分樣本挖掘的基礎(chǔ)上改進(jìn)收縮損失函數(shù)，解決采樣時(shí)的正負(fù)樣本不均衡問(wèn)題；然后在線跟蹤時(shí)設(shè)計(jì)并維護(hù)高置信度保留樣本池，保留首幀目標(biāo)和高置信度結(jié)果樣本特征，利用保留樣本池進(jìn)行在線訓(xùn)練更新模型參數(shù)；最后，通過(guò)模型計(jì)算在前幀目標(biāo)位置周圍高斯采樣出的候選樣本的置信度，從而追蹤運(yùn)動(dòng)目標(biāo)位置并通過(guò)有效更新維持模型魯棒性。本發(fā)明方法在復(fù)雜長(zhǎng)時(shí)跟蹤環(huán)境下保持了優(yōu)越的跟蹤精度和成功率，能夠在目標(biāo)被遮擋和出視野后重現(xiàn)時(shí)準(zhǔn)確定位目標(biāo)位置，滿足實(shí)際工程系統(tǒng)的設(shè)計(jì)需求。

技術(shù)領(lǐng)域

本發(fā)明涉及一種基于深度檢測(cè)的長(zhǎng)時(shí)目標(biāo)跟蹤方法，屬于模式識(shí)別和智能信息處理領(lǐng)域。

背景技術(shù)

隨著計(jì)算機(jī)視覺(jué)領(lǐng)域的發(fā)展，目標(biāo)跟蹤在人機(jī)交互、視頻監(jiān)控、自動(dòng)駕駛和機(jī)器人等領(lǐng)域得到越來(lái)越多的重視和應(yīng)用。早期的跟蹤模型常見(jiàn)的有粒子濾波、Mean?shift、相關(guān)濾波及其衍生模型等。雖然這些傳統(tǒng)的跟蹤器經(jīng)過(guò)近年來(lái)的發(fā)展在精度和速度上都有了明顯提升，但是對(duì)目標(biāo)的特征提取仍以光流、外觀形狀、顏色等淺層特征為主，不能捕捉目標(biāo)語(yǔ)義特征，難以在面對(duì)長(zhǎng)時(shí)跟蹤時(shí)目標(biāo)外觀形變、被遮擋或目標(biāo)出視野等情況下保持魯棒跟蹤。

基于深度學(xué)習(xí)的跟蹤器，能有效利用目標(biāo)的深度特征對(duì)目標(biāo)進(jìn)行語(yǔ)義級(jí)抽象，并擬合目標(biāo)的運(yùn)動(dòng)過(guò)程，這大大提高了跟蹤精度；且模型的特征提取器在離線時(shí)得到了大量標(biāo)記圖片的端到端預(yù)訓(xùn)練，這進(jìn)一步提高了跟蹤器在線跟蹤速度，使深度學(xué)習(xí)在目標(biāo)跟蹤領(lǐng)域的應(yīng)用成為可能。由于目標(biāo)檢測(cè)與目標(biāo)跟蹤的相似性，檢測(cè)領(lǐng)域的很多算法思想都逐漸被應(yīng)用于跟蹤：MDNet(Nam?H,Han?B.Learning?multi-domain?convolutional?neuralnetworks?for?visual?tracking[C]//Proceedings?of?the?IEEE?conference?oncomputer?vision?and?pattern?recognition.2016:4293-4302.)在前一幀的目標(biāo)周圍高斯采樣出大量候選框，再利用預(yù)訓(xùn)練的二分類器區(qū)分候選框中的目標(biāo)和背景，從而定位目標(biāo)位置；SiamFC孿生網(wǎng)絡(luò)模型利用同樣結(jié)構(gòu)的CNN網(wǎng)絡(luò)對(duì)初始幀目標(biāo)和當(dāng)前幀搜索域提取深度特征，然后通過(guò)卷積操作進(jìn)行相似性計(jì)算，得到目標(biāo)在搜索域位置的響應(yīng)；RasNet將傳統(tǒng)的相關(guān)濾波引入孿生網(wǎng)絡(luò)中，再把檢測(cè)領(lǐng)域的通道注意力、殘差注意力和通用注意力結(jié)合，提高了跟蹤器的泛化能力，增大了對(duì)首幀目標(biāo)信息的利用率。

然而，基于深度學(xué)習(xí)的目標(biāo)跟蹤算法，需要收集含有目標(biāo)信息的正樣本，以及含有背景信息的負(fù)樣本用于模型的迭代訓(xùn)練。但在實(shí)際取樣中，正樣本的可采樣數(shù)量遠(yuǎn)遠(yuǎn)小于負(fù)樣本這些負(fù)樣本中絕大多數(shù)是無(wú)意義的簡(jiǎn)單負(fù)樣本，對(duì)分類器的訓(xùn)練貢獻(xiàn)很少。不僅如此，雖然簡(jiǎn)單負(fù)樣本的損失值低，但數(shù)量龐大，這些值的累積和很可能掩蓋了正樣本和重要負(fù)樣本損失值的變化，從而影響模型訓(xùn)練的收斂速度以及跟蹤器性能。針對(duì)這種類不均衡問(wèn)題，MDNet采用檢測(cè)領(lǐng)域的難分樣本挖掘技術(shù)篩選難分負(fù)樣本，使模型的訓(xùn)練免受大多數(shù)簡(jiǎn)單樣本的干擾，但其對(duì)難分負(fù)樣本的采樣數(shù)量固定，在很多應(yīng)用場(chǎng)景下難以避免地對(duì)簡(jiǎn)單樣本過(guò)多采集；FocalLoss對(duì)所有的負(fù)樣本損失值進(jìn)行抑制，但同時(shí)降低了有價(jià)值的難分樣本對(duì)訓(xùn)練的貢獻(xiàn)。

此外，長(zhǎng)時(shí)跟蹤時(shí)目標(biāo)不可避免地會(huì)出現(xiàn)形變、遮擋和出視野等情況，未采用模型在線更新機(jī)制的深度跟蹤器往往由于過(guò)度依賴首幀特征而導(dǎo)致跟蹤漂移或目標(biāo)丟失。MDNet保留最近特定數(shù)量幀的跟蹤結(jié)果用于更新模型，但這可能導(dǎo)致有價(jià)值的保留樣本被新出現(xiàn)的無(wú)效樣本替代，同時(shí)其忽視首幀目標(biāo)信息，也使得模型在跟蹤失敗后難以通過(guò)有效更新重新定位目標(biāo)位置；CFNet對(duì)當(dāng)前幀之前的所有跟蹤結(jié)果計(jì)算平均值，更新目標(biāo)模板；同樣，隨著跟蹤的持續(xù)，目標(biāo)模板不斷被污染，最終導(dǎo)致跟蹤漂移，而在目標(biāo)被遮擋時(shí)，這種污染的影響將更加明顯。

近年來(lái)，隨著深度跟蹤器的骨干網(wǎng)絡(luò)層數(shù)逐漸加深，模型在線更新對(duì)跟蹤效率的影響逐漸加大，因此大多數(shù)深度跟蹤器都未引入在線更新策略，但模型更新仍是維持長(zhǎng)時(shí)跟蹤魯棒性的重要途徑。

發(fā)明內(nèi)容