[發(fā)明專利]一種增強(qiáng)ID重識(shí)別的無(wú)錨多目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202111299711.X
• 申請(qǐng)日: 2021-11-04
• 公開(kāi)（公告）號(hào): CN113971688B
• 公開(kāi)（公告）日: 2023-09-26
• 發(fā)明（設(shè)計(jì)）人: 孫俊
• 申請(qǐng)（專利權(quán)）人: 勻熵智能科技(無(wú)錫)有限公司
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/277;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 無(wú)錫市觀知成專利商標(biāo)代理事務(wù)所(特殊普通合伙) 32591
• 代理人: 任月娜

本發(fā)明提供一種增強(qiáng)ID重識(shí)別的無(wú)錨多目標(biāo)跟蹤方法，屬于目標(biāo)跟蹤領(lǐng)域。本發(fā)明通過(guò)預(yù)測(cè)目標(biāo)中心點(diǎn)熱力圖來(lái)檢測(cè)目標(biāo)位置，并設(shè)計(jì)檢測(cè)偏差損失加強(qiáng)對(duì)預(yù)測(cè)熱力圖響應(yīng)值的約束，以提高檢測(cè)精度，緩解因定位不準(zhǔn)確導(dǎo)致的Re?ID特征模糊問(wèn)題。其次，為增強(qiáng)Re?ID魯棒性，提出Re?ID可學(xué)習(xí)特征動(dòng)態(tài)擴(kuò)充策略。該策略通過(guò)自適應(yīng)增加目標(biāo)中心的Re?ID可學(xué)習(xí)特征來(lái)提高特征質(zhì)量，并減小Re?ID對(duì)中心點(diǎn)檢測(cè)精度的依賴。最后在MOT16和MOT17測(cè)試集上進(jìn)行驗(yàn)證，結(jié)果表明，算法能有效提升檢測(cè)和Re?ID性能，與主流算法相比具有更好的跟蹤效果，且兼顧了實(shí)時(shí)性，達(dá)到25.6FPS。

技術(shù)領(lǐng)域

本發(fā)明屬于目標(biāo)跟蹤領(lǐng)域，具體涉及增強(qiáng)ID重識(shí)別的無(wú)錨多目標(biāo)跟蹤方法。

背景技術(shù)

多目標(biāo)跟蹤(Multi?Object?Tracking，MOT)是計(jì)算機(jī)視覺(jué)領(lǐng)域中的重要任務(wù)之一。其目的是同時(shí)識(shí)別與跟蹤視頻中的多個(gè)目標(biāo)，并為每個(gè)目標(biāo)分配唯一且長(zhǎng)時(shí)間有效的ID編號(hào)，以獲得目標(biāo)的運(yùn)動(dòng)軌跡。根據(jù)使用視頻序列的方式，可將多目標(biāo)跟蹤分為在線多目標(biāo)跟蹤和離線多目標(biāo)跟蹤兩類。前者在跟蹤時(shí)僅使用視頻過(guò)去和當(dāng)前的圖像信息，與人眼實(shí)時(shí)跟蹤目標(biāo)的過(guò)程類似。后者則需要使用一段完整的視頻及其檢測(cè)信息，根據(jù)全局信息對(duì)目標(biāo)進(jìn)行匹配關(guān)聯(lián)，獲得運(yùn)動(dòng)軌跡。雖然離線跟蹤能利用全局信息獲得較好的跟蹤效果，但在線跟蹤更符合現(xiàn)實(shí)應(yīng)用場(chǎng)景，也是目前多目標(biāo)跟蹤的熱門研究方向。但由于目標(biāo)尺度變換和頻繁遮擋等問(wèn)題，在線多目標(biāo)跟蹤中仍存在一些難點(diǎn)。

隨著深度學(xué)習(xí)在圖像領(lǐng)域的快速發(fā)展，目標(biāo)檢測(cè)算法的精度不斷提高，很多學(xué)者選擇基于檢測(cè)的跟蹤策略(Tracking?by?Detection，TBD)。TBD將跟蹤任務(wù)分為兩步：首先進(jìn)行目標(biāo)檢測(cè)并初始化軌跡，再利用Re-ID算法和匹配算法把后續(xù)檢測(cè)結(jié)果與現(xiàn)有軌跡連接，最終得到目標(biāo)的完整運(yùn)動(dòng)軌跡。得益于高精度檢測(cè)器與Re-ID算法的結(jié)合，TBD方法獲得了不錯(cuò)的跟蹤性能。但這種two-step方法的檢測(cè)和IDembedding(Re-ID特征)提取過(guò)程是分離的(Separate?Detection?and?Embedding，SDE)，需要在檢測(cè)和匹配過(guò)程分別對(duì)圖像進(jìn)行特征提取，比較耗時(shí)，達(dá)不到實(shí)時(shí)效果。為提高跟蹤效率，一種采用共享特征提取網(wǎng)絡(luò)的JDE(Joint?Detectionand?Embedding)范式被廣泛使用。JDE方法將目標(biāo)檢測(cè)和Re-ID中的embedding提取模塊集成到單一網(wǎng)絡(luò)中，使用多任務(wù)訓(xùn)練，能并行輸出目標(biāo)檢測(cè)信息和Re-ID特征，完成跟蹤任務(wù)。此類one-shot方法通過(guò)單一網(wǎng)絡(luò)的共享學(xué)習(xí)，避免了特征重復(fù)提取的冗余計(jì)算，達(dá)到接近實(shí)時(shí)的跟蹤效果。但one-shot方法需要在單一網(wǎng)絡(luò)中提取檢測(cè)和表觀兩種不同的特征，很難使兩個(gè)任務(wù)同時(shí)達(dá)到最好的效果，因此其跟蹤精度往往低于two-step方法。FairMOT【ZHANG?Y,WANG?C,WANG?X,et?al.Fairmot:On?the?fairness?ofdetection?and?re-identification?in?multiple?object?tracking[J].arXiv?preprintarXiv:2004.01888,2020.】指出anchor-based檢測(cè)器存在回歸檢測(cè)框歧義等問(wèn)題，不適于JDE方法，并提出使用基于無(wú)錨檢測(cè)的CenterNet作為檢測(cè)器，減小Re-ID特征的模糊性，進(jìn)一步提升了跟蹤精度，并達(dá)到實(shí)時(shí)要求。