[發(fā)明專(zhuān)利]統(tǒng)一目標(biāo)運(yùn)動(dòng)感知和重識(shí)別網(wǎng)絡(luò)的在線(xiàn)多目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110649381.6
• 申請(qǐng)日: 2021-06-10
• 公開(kāi)（公告）號(hào): CN113313736B
• 公開(kāi)（公告）日: 2022-05-17
• 發(fā)明（設(shè)計(jì)）人: 王菡子;王英
• 申請(qǐng)（專(zhuān)利權(quán)）人: 廈門(mén)大學(xué)
• 主分類(lèi)號(hào): G06T7/246
• 分類(lèi)號(hào): G06T7/246;G06T7/62;G06T7/66;G06T7/73;G06V40/10;G06V10/44;G06V10/75;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門(mén)南強(qiáng)之路專(zhuān)利事務(wù)所(普通合伙) 35200
• 代理人: 馬應(yīng)森

統(tǒng)一目標(biāo)運(yùn)動(dòng)感知和重識(shí)別網(wǎng)絡(luò)的在線(xiàn)多目標(biāo)跟蹤方法，涉及計(jì)算機(jī)視覺(jué)技術(shù)。A.將當(dāng)前幀圖像與前一幀圖像輸入到骨干網(wǎng)絡(luò)，獲得兩幀圖像的特征圖；B.將前一幀圖像的熱力圖與步驟A兩個(gè)特征圖送入檢測(cè)與跟蹤分支，得計(jì)算當(dāng)前幀檢測(cè)結(jié)果及目標(biāo)跟蹤偏移量；C.將步驟A兩幀圖像的特征圖送入重識(shí)別分支，得嵌入特征向量，存儲(chǔ)于重識(shí)別特征向量池中；D.根據(jù)跟蹤偏移量，對(duì)步驟B獲得的檢測(cè)結(jié)果進(jìn)行第一次匹配，為已匹配的檢測(cè)分配對(duì)應(yīng)目標(biāo)的身份識(shí)別；E.對(duì)步驟D獲得的未匹配檢測(cè)結(jié)果進(jìn)行第二次匹配，將未匹配檢測(cè)結(jié)果與步驟C獲得的嵌入特征向量逐一進(jìn)行相似性計(jì)算，根據(jù)設(shè)定的閾值，為不同檢測(cè)結(jié)果分配身份識(shí)別，即得當(dāng)前幀最終的跟蹤結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)技術(shù)，尤其是涉及一種統(tǒng)一目標(biāo)運(yùn)動(dòng)感知和重識(shí)別網(wǎng)絡(luò)的在線(xiàn)多目標(biāo)跟蹤方法。

背景技術(shù)

視覺(jué)系統(tǒng)是人類(lèi)獲取外界信息十分重要的途徑，能夠?yàn)槿祟?lèi)提供豐富的資源信息，多目標(biāo)跟蹤作為計(jì)算機(jī)視覺(jué)領(lǐng)域的一個(gè)基本任務(wù)，旨在估計(jì)序列中特定類(lèi)別的運(yùn)動(dòng)軌跡。近年來(lái)，對(duì)于多目標(biāo)跟蹤算法的研究已受到越來(lái)越多的關(guān)注。但是，在密集人群或低幀率視頻中，目標(biāo)容易發(fā)生較大運(yùn)動(dòng)偏移和相互遮擋、重疊等情況，導(dǎo)致跟蹤性能受限。因此，研究目標(biāo)運(yùn)動(dòng)信息、構(gòu)建簡(jiǎn)單而有效的重識(shí)別網(wǎng)絡(luò)對(duì)在線(xiàn)多目標(biāo)跟蹤方法具有重要意義。

現(xiàn)有的多目標(biāo)跟蹤方法主要可以分為先檢測(cè)后跟蹤和聯(lián)合檢測(cè)跟蹤兩類(lèi)。第一類(lèi)方法屬于雙階段跟蹤方法，主要利用一個(gè)單獨(dú)的檢測(cè)器檢測(cè)出每幀圖像的目標(biāo)，然后再使用數(shù)據(jù)關(guān)聯(lián)算法進(jìn)行跟蹤。Alex Bewley等人(Alex Bewley,Zongyuan Ge,Lionel Ott,Fabio Ramos,andBen Upcroft.2016.Simple online and realtime tracking.InProceedings of theIEEE International Conference on Image Processing(2016),3464-3468)提出Sort方法，利用Faster-RCNN(Shaoqing Ren,Kaiming He,Ross Girshick,and Jian Sun.2017.Faster R-CNN:Towards real-time object detection with regionproposal networks.IEEE Transactions on Pattern Analysis and MachineIntelligence39,6(2017),1137-1149)檢測(cè)出當(dāng)前圖像的目標(biāo)邊界框，然后使用卡爾曼濾波預(yù)測(cè)出另一組目標(biāo)邊界框，通過(guò)IoU分?jǐn)?shù)將兩組邊界框進(jìn)行匹配，從而完成多目標(biāo)跟蹤。Nicolai Wojke等人(Nicolai Wojke,Alex Bewley,and DietrichPaulus.2017.Simpleonline and realtime tracking with a deep associationmetric.In Proceedings of theIEEE International Conference on Image Processing(2017),3645-3649)在Sort方法的基礎(chǔ)上訓(xùn)練一個(gè)重識(shí)別網(wǎng)絡(luò)用于表觀(guān)特征提取，同時(shí)，使用級(jí)聯(lián)匹配策略進(jìn)一步對(duì)目標(biāo)邊界框進(jìn)行匹配。GuillemBraso等人(GuillemBraso andLaura Leal-Taixe.2020.Learning a neural solver for multiple objecttracking.In Proceedings of the IEEE/CVF Conference on Computer Vision andPattern Recognition(2020),6247-6257)把每個(gè)檢測(cè)結(jié)果看成一個(gè)圖節(jié)點(diǎn)，從而將數(shù)據(jù)關(guān)聯(lián)問(wèn)題轉(zhuǎn)化為圖網(wǎng)絡(luò)的優(yōu)化問(wèn)題。這類(lèi)方法將檢測(cè)和跟蹤網(wǎng)絡(luò)分開(kāi)處理，導(dǎo)致無(wú)法實(shí)現(xiàn)端到端優(yōu)化。第二類(lèi)方法將檢測(cè)和跟蹤放在同一個(gè)框架下，有效地提升跟蹤效率。PhilippBergmann等人(Philipp Bergmann,Tim Meinhardt,and Laura Leal-Taixe.2019.Tracking without bells and whistles.InProceedings of the IEEE/CVFInternational Conference on Computer Vision(2019),941-951)利用檢測(cè)器的回歸頭部直接實(shí)現(xiàn)目標(biāo)邊界框在時(shí)間上的修正。Jinlong Peng等人(Jinlong Peng,ChanganWang,Fangbin Wan,Yang Wu,Yabiao Wang and et al.2020.Chained-tracker:Chainingpaired attentive regression results for end-to-end joint multiple-objectdetection and tracking.InProceedings of theEuropean Conference onComputer Vision(2020),145-161)把相鄰幀對(duì)作為網(wǎng)絡(luò)輸入，在單個(gè)回歸模型中執(zhí)行聯(lián)合檢測(cè)和跟蹤算法，能夠進(jìn)行端到端的檢測(cè)優(yōu)化、特征提取。Xingyi Zhou等人(Xingyi Zhou,VladlenKoltun,and Philipp2020.Tracking objects as points.InProceedings of theEuropean Conference on Computer Vision(2020),474-490)將CenterNet(Xingyi Zhou,Dequan Wang,and Philipp2019.Objects aspoints.arXiv preprint arXiv:1904.07850)作為基本的檢測(cè)網(wǎng)絡(luò)，預(yù)測(cè)當(dāng)前幀與前一幀的中心點(diǎn)偏移量以實(shí)現(xiàn)多目標(biāo)跟蹤。這類(lèi)方法無(wú)法關(guān)聯(lián)上已被中斷的軌跡，導(dǎo)致身份識(shí)別頻繁轉(zhuǎn)換。