[發(fā)明專利]結(jié)合模板更新與軌跡預(yù)測的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法

在審

• 申請?zhí)枺?/td>: 202211647387.0
• 申請日: 2022-12-21
• 公開（公告）號: CN115953570A
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計）人: 賀王鵬;胡德順;周悅
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06V10/22
• 分類號: G06V10/22;G06V10/40;G06V10/75;G06V10/764;G06V10/82;G06N3/08
• 代理公司: 西安弘理專利事務(wù)所 61214
• 代理人: 王丹

本發(fā)明公開了結(jié)合模板更新與軌跡預(yù)測的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，包括：通過預(yù)處理后的數(shù)據(jù)集離線訓(xùn)練得到目標(biāo)跟蹤模型，當(dāng)前幀通過目標(biāo)跟蹤模型提取圖像特征，將其與模板圖像進行比對，從而確定下一幀待跟蹤目標(biāo)在圖像中的位置信息，在整個目標(biāo)跟蹤過程中，對于模板圖像進行在線更新，持續(xù)迭代更新模板圖像特征，同時根據(jù)歷史幀中目標(biāo)運動位置變化信息，利用卡爾曼濾波方法進行軌跡預(yù)測，實現(xiàn)對于單目標(biāo)的穩(wěn)定跟蹤。

技術(shù)領(lǐng)域

本發(fā)明屬于目標(biāo)跟蹤方法技術(shù)領(lǐng)域，涉及結(jié)合模板更新與軌跡預(yù)測的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法。

背景技術(shù)

目標(biāo)跟蹤作為計算機視覺領(lǐng)域的一個重要分支，在自動駕駛、人機交互、智能交通等方面獲得了越來越廣泛的應(yīng)用。目標(biāo)跟蹤技術(shù)旨在通過跟蹤過程獲得目標(biāo)的實時位置、運動軌跡、運動速度以及加速度等相關(guān)參數(shù)，并以此為基礎(chǔ)進行高級視覺任務(wù)分析，從而實現(xiàn)對目標(biāo)行為的理解。現(xiàn)有的目標(biāo)跟蹤方法根據(jù)觀察模型的不同可以分為生成式方法和判別式方法。生成式方法只關(guān)注目標(biāo)本身，而判別式方法則將目標(biāo)周圍的背景區(qū)域也作為關(guān)注對象進行針對性訓(xùn)練，因此判別式方法可以更好的處理目標(biāo)周圍環(huán)境較為復(fù)雜的場景。近年來深度學(xué)習(xí)的發(fā)展，使得基于深度學(xué)習(xí)的判別式目標(biāo)跟蹤算法取得了顯著成就。以孿生網(wǎng)絡(luò)結(jié)構(gòu)為基礎(chǔ)的目標(biāo)跟蹤算法是典型的基于深度學(xué)習(xí)的判別式目標(biāo)跟蹤方法，孿生網(wǎng)絡(luò)指基于兩個人工神經(jīng)網(wǎng)絡(luò)建立的耦合構(gòu)架，Bertinetto等人提出的全卷積孿生網(wǎng)絡(luò)(Fully-Convolutional?Siamese?Networks，SiamFC)是使用雙支路孿生網(wǎng)絡(luò)結(jié)構(gòu)處理目標(biāo)跟蹤問題的開山之作，其通過利用兩個結(jié)構(gòu)完全相同的全卷積網(wǎng)絡(luò)來提取目標(biāo)區(qū)域和搜索區(qū)域的特征，并計算兩者之間的相似度，其中相似度最高的位置作為預(yù)測的目標(biāo)位置，后續(xù)大批優(yōu)秀的框架都以該結(jié)構(gòu)為基礎(chǔ)進行優(yōu)化和改進。Valmadre等人提出非對稱孿生網(wǎng)絡(luò)，將神經(jīng)網(wǎng)絡(luò)與相關(guān)濾波相結(jié)合。Guo等人提出動態(tài)孿生網(wǎng)絡(luò)，在線學(xué)習(xí)跟蹤目標(biāo)的外觀變化并進行背景抑制。Choi等人提出注意力相關(guān)濾波網(wǎng)絡(luò)，將注意力機制引入了跟蹤框架。Yuan等人提出抗遮擋跟蹤算法，從殘差神經(jīng)網(wǎng)絡(luò)(Residual?Neural?Network，ResNet)的不同層中提取目標(biāo)特征以生成響應(yīng)圖，并引入遮擋檢測策略來避免模型漂移。

但以上目標(biāo)跟蹤算法仍存在以下缺點，限制了算法的性能：1)孿生網(wǎng)絡(luò)往往使用離線訓(xùn)練的方式，沒有充分利用在線跟蹤信息，并且這些方法始終以第一幀選取的目標(biāo)作為模板圖像，在后續(xù)目標(biāo)發(fā)生形變、顏色或光照發(fā)生變化時，不能很好地識別目標(biāo)，缺乏對模板圖像的更新迭代。2)孿生網(wǎng)絡(luò)是通過模板圖像和搜索圖像互相關(guān)進行目標(biāo)的定位，沒有利用跟蹤過程中的目標(biāo)軌跡信息，對于快速運動或者被遮擋的目標(biāo)不能較好地進行穩(wěn)定跟蹤。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種結(jié)合模板更新與軌跡預(yù)測的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，解決了現(xiàn)有技術(shù)中存在的目標(biāo)跟蹤穩(wěn)定性差問題。

本發(fā)明所采用的技術(shù)方案是，結(jié)合模板更新與軌跡預(yù)測的孿生網(wǎng)絡(luò)目標(biāo)跟蹤方法，包括：

步驟1、建立目標(biāo)跟蹤模型，目標(biāo)跟蹤模型包括特征提取分支、正負樣本分類分支及位置信息回歸分支；

步驟2、框選初始幀圖像x₀目標(biāo)邊界框，在初始幀圖像x₀目標(biāo)邊界框的中心位置裁剪得到模板圖像，并進行模板圖像的特征提取，得到模板圖像特征；

步驟3、初始化卡爾曼濾波器，將初始幀圖像x₀目標(biāo)邊界框的中心位置輸入卡爾曼濾波器，預(yù)測得到下一幀圖像x_t,t＝1…n目標(biāo)中心位置；

步驟4、獲取下一幀圖像x_t，根據(jù)前一幀圖像x_t-1目標(biāo)邊界框的中心位置和當(dāng)前幀圖像x_t目標(biāo)中心位置融合出當(dāng)前幀圖像x_t的目標(biāo)搜索中心位置，在目標(biāo)搜索中心位置裁剪得到搜索圖像，對搜索圖像進行特征提取，得到搜索圖像特征；