[發(fā)明專利]一種使用卷積神經(jīng)網(wǎng)絡(luò)和雙向匹配算法的視頻多目標(biāo)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202111391364.3
• 申請(qǐng)日: 2021-11-23
• 公開(kāi)（公告）號(hào): CN114092519A
• 公開(kāi)（公告）日: 2022-02-25
• 發(fā)明（設(shè)計(jì)）人: 曾澤華;羅會(huì)蘭
• 申請(qǐng)（專利權(quán)）人: 江西理工大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06V10/74;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 溫州知遠(yuǎn)專利代理事務(wù)所(特殊普通合伙) 33262
• 代理人: 湯時(shí)達(dá)

本發(fā)明公開(kāi)了一種使用卷積神經(jīng)網(wǎng)絡(luò)和雙向匹配算法的視頻多目標(biāo)跟蹤方法。基于無(wú)錨框目標(biāo)檢測(cè)方法的卷積神經(jīng)網(wǎng)絡(luò)，能夠通過(guò)融合不同尺度的特征信息，提供目標(biāo)的中心點(diǎn)位置和目標(biāo)尺度信息。本發(fā)明在該卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上，增加了針對(duì)目標(biāo)的雙向運(yùn)動(dòng)預(yù)測(cè)分支，并基于雙向運(yùn)動(dòng)信息設(shè)計(jì)了對(duì)應(yīng)的多目標(biāo)跟蹤匹配算法，從而通過(guò)多幀視頻信息的輸入，完成對(duì)目標(biāo)的雙向跟蹤匹配，并通過(guò)擱淺區(qū)的設(shè)計(jì)緩解因目標(biāo)短時(shí)遮擋導(dǎo)致的跟蹤間斷。本文還在卷積神經(jīng)網(wǎng)絡(luò)中使用了注意力模塊，有效減少了模型的訓(xùn)練時(shí)間，從而提升算法的使用效率。在MOT17多目標(biāo)跟蹤數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明本發(fā)明算法具有較高的跟蹤準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺(jué)領(lǐng)域，涉及對(duì)數(shù)字圖像及視頻的處理、目標(biāo)檢測(cè)、多目標(biāo)跟蹤。

背景技術(shù)

針對(duì)視頻的多目標(biāo)跟蹤任務(wù)，涉及了目標(biāo)檢測(cè)任務(wù)和目標(biāo)識(shí)別任務(wù)，其目的是通過(guò)分析視頻圖像，對(duì)畫面中的多個(gè)對(duì)象進(jìn)行目標(biāo)檢測(cè)，并維持它們的ID，記錄它們的軌跡。有別于單目標(biāo)跟蹤，多目標(biāo)跟蹤算法性能不隨跟蹤數(shù)量的增加而下降，因此能廣泛應(yīng)用于監(jiān)控視頻分析，實(shí)時(shí)行人軌跡跟蹤，車輛及船舶軌跡跟蹤等場(chǎng)景。

隨著深度學(xué)習(xí)的發(fā)展卷積神經(jīng)網(wǎng)絡(luò)的進(jìn)步，目標(biāo)檢測(cè)算法的性能大幅提升，直接推動(dòng)了多目標(biāo)跟蹤算法的進(jìn)步。因此，當(dāng)前主流的多目標(biāo)跟蹤算法，都是基于目標(biāo)檢測(cè)算法進(jìn)行初步識(shí)別，然后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)提取目標(biāo)的外觀信息進(jìn)行再識(shí)別，最后根據(jù)得到的目標(biāo)特征信息，使用卡爾曼濾波算法和匈牙利匹配算法將多幀的目標(biāo)進(jìn)行匹配，確保目標(biāo)身份的一致性。

匹配過(guò)程通常需要結(jié)合目標(biāo)的多種信息，通常使用目標(biāo)外觀特征計(jì)算相似性，并通過(guò)匈牙利匹配算法得出匹配結(jié)果。但外觀特征的提取耗時(shí)較長(zhǎng)，較難做到實(shí)時(shí)的目標(biāo)跟蹤。而不使用外觀特征時(shí)，盡管跟蹤速度大幅提升，但匹配算法遇到目標(biāo)遮擋或短暫消失時(shí)，很容易造成跟蹤中斷。本發(fā)明提出了雙向?qū)崟r(shí)的多目標(biāo)跟蹤算法，旨在通過(guò)雙向運(yùn)動(dòng)預(yù)測(cè)，并設(shè)計(jì)擱淺區(qū)對(duì)跟蹤失敗的目標(biāo)進(jìn)行暫存，來(lái)提升跟蹤和匹配的一致性，更好地處理目標(biāo)遮擋問(wèn)題。在卷積網(wǎng)絡(luò)層面，本發(fā)明基于CenterNet目標(biāo)檢測(cè)網(wǎng)絡(luò)，設(shè)計(jì)了雙向跟蹤模型，增加了雙向運(yùn)動(dòng)預(yù)測(cè)的分支任務(wù)，為本發(fā)明提出的雙向跟蹤算法的匹配過(guò)程提供預(yù)測(cè)信息。此外，提出的雙向跟蹤模型利用DLA-Net網(wǎng)絡(luò)的特征匯聚模式，有效融合多層特征信息，并引入注意力機(jī)制，優(yōu)化了聚合過(guò)程和上采樣過(guò)程，獲得了與可變形卷積相似的特征聚合效果，但大幅提升了模型的訓(xùn)練效率。

發(fā)明內(nèi)容

1.發(fā)明目的：

本發(fā)明的目的是改進(jìn)多目標(biāo)跟蹤卷積神經(jīng)網(wǎng)絡(luò)，并提出了基于雙向運(yùn)動(dòng)估計(jì)的多目標(biāo)跟蹤匹配算法，提升跟蹤精度和軌跡連續(xù)性。

2.技術(shù)方案：

本發(fā)明提出一種使用卷積神經(jīng)網(wǎng)絡(luò)和雙向匹配算法的視頻多目標(biāo)跟蹤方法，該方法分為卷積神經(jīng)網(wǎng)絡(luò)和雙向匹配算法兩個(gè)部分，卷積神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)提取目標(biāo)位置信息及運(yùn)動(dòng)信息，雙向匹配算法利用網(wǎng)絡(luò)獲得的信息進(jìn)行跟蹤匹配，從而做到對(duì)多目標(biāo)的跟蹤。本發(fā)明的網(wǎng)絡(luò)部分使用目標(biāo)檢測(cè)算法CenterNet的特征提取網(wǎng)絡(luò)，其網(wǎng)絡(luò)結(jié)構(gòu)參照深層特征融合網(wǎng)絡(luò)DLA-Net設(shè)計(jì)，有下采樣階段和上采樣階段。其中上采樣階段負(fù)責(zé)融合不同尺度的特性信息，目標(biāo)檢測(cè)算法CenterNet在該階段使用了可變形卷積增強(qiáng)對(duì)目標(biāo)的注意，本發(fā)明使用卷積注意力模塊CBAM(Convolutional Block Attention Module)對(duì)于可變形卷積進(jìn)行了替換，以提升模型的訓(xùn)練速度，并保證網(wǎng)絡(luò)性能不減少。在匹配階段，本發(fā)明設(shè)計(jì)了雙向匹配算法，使用兩次匹配過(guò)程對(duì)正常跟蹤的目標(biāo)和發(fā)生遮擋的目標(biāo)進(jìn)行跟蹤，其中的擱淺區(qū)設(shè)計(jì)使得算法能夠模擬目標(biāo)在遮擋物后的移動(dòng)，從而減少因短時(shí)遮擋導(dǎo)致的跟蹤丟失。