[發(fā)明專利]基于孿生網(wǎng)絡(luò)的強(qiáng)耦合目標(biāo)跟蹤方法、裝置、介質(zhì)及設(shè)備

在審

• 申請?zhí)枺?/td>: 202110142824.2
• 申請日: 2021-02-02
• 公開（公告）號: CN112966553A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計）人: 趙霞;石國強(qiáng)
• 申請（專利權(quán)）人: 同濟(jì)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 上海科盛知識產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

本發(fā)明涉及一種基于孿生網(wǎng)絡(luò)的強(qiáng)耦合目標(biāo)跟蹤方法、裝置、介質(zhì)及設(shè)備，所述跟蹤方法包括以下步驟：獲取目標(biāo)圖像，并從待測視頻中逐幀提取一幀待測圖像；將所述目標(biāo)圖像和待測圖像作為預(yù)訓(xùn)練的目標(biāo)跟蹤模型的輸入，檢測獲得待測圖像的預(yù)測目標(biāo)位置；其中，所述目標(biāo)跟蹤模型基于SiamRPN構(gòu)建，該目標(biāo)跟蹤模型訓(xùn)練時，采用聯(lián)合優(yōu)化模塊對分類分支和邊框回歸分支進(jìn)行訓(xùn)練，所述聯(lián)合優(yōu)化模塊采用的損失函數(shù)包括基于聯(lián)合優(yōu)化的分類損失函數(shù)和基于IoU的邊框損失函數(shù)。與現(xiàn)有技術(shù)相比，本發(fā)明具有跟蹤精度高等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及一種視頻目標(biāo)跟蹤方法，尤其是涉及一種基于孿生網(wǎng)絡(luò)的強(qiáng)耦合目標(biāo)跟蹤方法、裝置、介質(zhì)及設(shè)備。

背景技術(shù)

視頻目標(biāo)跟蹤在軍事偵察、視覺導(dǎo)航、自動檢測、人機(jī)交互以及交通監(jiān)控等軍事和民用方面都有極大的應(yīng)用價值。如何處理跟蹤目標(biāo)的快速運(yùn)動、尺度變化、形變、遮擋等問題，一直是一項(xiàng)具有挑戰(zhàn)的任務(wù)。跟蹤目標(biāo)的特征描述和跟蹤目標(biāo)候選區(qū)域確定是目標(biāo)跟蹤的主要難點(diǎn)。為了準(zhǔn)確預(yù)測跟蹤目標(biāo)的邊框信息，現(xiàn)有的算法采用區(qū)域回歸網(wǎng)絡(luò)(RPN)的分類分支和邊框回歸分支來實(shí)現(xiàn)。在線跟蹤時，將分類分?jǐn)?shù)最大值對應(yīng)的邊框回歸值作為該幀的預(yù)測結(jié)果，雖然該類方法具有很好的跟蹤能力，但其分類任務(wù)和邊框回歸任務(wù)沒有聯(lián)系，導(dǎo)致模型預(yù)測的最高分類分?jǐn)?shù)與最佳預(yù)測邊框結(jié)果不匹配，僅得到次優(yōu)跟蹤結(jié)果。

針對基于相關(guān)濾波跟蹤算法需要在線更新這一問題，Bertinetto L使用非跟蹤數(shù)據(jù)ImageNet樣本離線訓(xùn)練網(wǎng)絡(luò)，在進(jìn)行跟蹤時，無需在線更新網(wǎng)絡(luò)參數(shù)。他們使用孿生網(wǎng)絡(luò)作為算法框架，Alex作為特征提取基網(wǎng)絡(luò)，將候選圖像和目標(biāo)圖像同時輸入到孿生網(wǎng)絡(luò)中，并對孿生網(wǎng)絡(luò)輸出的卷積特征進(jìn)行相關(guān)操作，得到目標(biāo)位置相應(yīng)圖，算法框架圖如圖1所示。孿生網(wǎng)絡(luò)的候選圖像大小為255×255，目標(biāo)圖像大小為127×127，相關(guān)操作后輸出17×17的置信相應(yīng)圖，通過二次差值法進(jìn)行上采樣，提升置信響應(yīng)圖的分辨率，響應(yīng)圖上的值越高，則目標(biāo)在該處的可能性越大。但是該算法需要將多尺度候選圖像作為輸入，來擬合目標(biāo)的尺度變化，無法準(zhǔn)確估計目標(biāo)長寬比率的變化。

Li B等通過研究SiamFC算法的不同尺度輸入圖像的預(yù)測結(jié)果，發(fā)現(xiàn)目標(biāo)的尺度變化是緩慢的，前后幀之間的差別很小。同時，SSD(Single Shot multibox Detector)算法中RPN可以直接回歸出目標(biāo)的尺度信息，當(dāng)目標(biāo)的尺度變化較小時，RPN可以準(zhǔn)確地預(yù)測目標(biāo)的邊框信息。因此，他們在SiamFC算法的基礎(chǔ)上，使用SSD中的RPN替代SiamFC的相關(guān)操作，根據(jù)得到的孿生網(wǎng)絡(luò)特征，不需要進(jìn)行尺度估計，直接預(yù)測目標(biāo)中心位置及尺度，其網(wǎng)絡(luò)結(jié)構(gòu)圖如圖2所示，其中分類分支和邊框回歸的損失是分開訓(xùn)練的，導(dǎo)致這兩個分支間關(guān)聯(lián)性較差，在預(yù)測階段存在分類分?jǐn)?shù)與邊框精度不匹配問題，使得算法僅能得到次優(yōu)的跟蹤結(jié)果。

基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤盡管取得了一些成果，但是應(yīng)用仍然較少。由于區(qū)域推薦網(wǎng)絡(luò)中最大分類分?jǐn)?shù)和最佳邊框不匹配，導(dǎo)致得到的跟蹤結(jié)果不是最優(yōu)的，當(dāng)目標(biāo)出現(xiàn)長時間遮擋等情況時，也難以準(zhǔn)確跟蹤，可能存在跟蹤失誤的情況。總體而言，基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤在網(wǎng)絡(luò)結(jié)構(gòu)、跟蹤漂移、環(huán)境適應(yīng)性等諸多方面仍有很大的探索空間。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種跟蹤精度高的基于孿生網(wǎng)絡(luò)的強(qiáng)耦合目標(biāo)跟蹤方法、裝置、介質(zhì)及設(shè)備。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

第一方面，本發(fā)明提供一種基于孿生網(wǎng)絡(luò)的強(qiáng)耦合目標(biāo)跟蹤方法，包括以下步驟：

獲取目標(biāo)圖像，并從待測視頻中逐幀提取一幀待測圖像；

將所述目標(biāo)圖像和待測圖像作為預(yù)訓(xùn)練的目標(biāo)跟蹤模型的輸入，檢測獲得待測圖像的預(yù)測目標(biāo)位置；

其中，所述目標(biāo)跟蹤模型基于SiamRPN構(gòu)建，該目標(biāo)跟蹤模型訓(xùn)練時，采用聯(lián)合優(yōu)化模塊對分類分支和邊框回歸分支進(jìn)行訓(xùn)練，所述聯(lián)合優(yōu)化模塊采用的損失函數(shù)包括基于聯(lián)合優(yōu)化的分類損失函數(shù)和基于IoU的邊框損失函數(shù)。