[發(fā)明專(zhuān)利]一種層級(jí)孿生網(wǎng)絡(luò)的實(shí)時(shí)目標(biāo)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202211181027.6
• 申請(qǐng)日: 2022-09-27
• 公開(kāi)（公告）號(hào): CN115661195A
• 公開(kāi)（公告）日: 2023-01-31
• 發(fā)明（設(shè)計(jì)）人: 李曉靜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 青島理工大學(xué)
• 主分類(lèi)號(hào): G06T7/246
• 分類(lèi)號(hào): G06T7/246;G06V10/80;G06V10/75;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南泉城專(zhuān)利商標(biāo)事務(wù)所 37218
• 代理人: 張貴賓

1.一種層級(jí)孿生網(wǎng)絡(luò)的實(shí)時(shí)目標(biāo)跟蹤方法，其特征在于：包括以下步驟：

S1：將視頻幀序列的模板圖像和搜索圖像利用孿生子網(wǎng)絡(luò)進(jìn)行特征提取；

在視頻序列的初始幀中以目標(biāo)物體為中心裁剪出模板幀圖像z，并在當(dāng)前幀中裁剪出搜索幀圖像x，將模板幀圖像和搜索幀圖像分別送入到孿生子網(wǎng)絡(luò)中的模板分支和搜索分支進(jìn)行特征提取；

S2：構(gòu)建融合多級(jí)層次特征的金字塔特征融合模塊

利用步驟1中的孿生子網(wǎng)絡(luò)，提取卷積三、四和五層的特征用于金字塔特征融合模塊，從而構(gòu)建了擁有不同層次信息的特征金字塔，三四五層卷積特征首先使用1×1的卷積操作降低通道數(shù)，得到處理后的特征φ₃(x)，φ₄(x)和φ₅(x)以及φ₃(z)，φ₄(z)和φ₅(z)，然后將處理后的特征通過(guò)自頂向下的方式與相應(yīng)的淺層特征進(jìn)行逐元素相加，最后利用3×3的卷積操作平滑融合后的不同層特征并學(xué)習(xí)語(yǔ)義相關(guān)性，通過(guò)逐級(jí)融合多級(jí)層次特征的金字塔特征融合模塊，可分別得到卷積三四五層的融合特征圖，以構(gòu)建更具有區(qū)分性的目標(biāo)表示；

S3：構(gòu)建層級(jí)位置感知預(yù)測(cè)模塊

位置感知預(yù)測(cè)模塊包括多個(gè)位置感知預(yù)測(cè)頭，每個(gè)位置感知預(yù)測(cè)頭包括兩個(gè)子任務(wù)，一個(gè)是將目標(biāo)從背景中分類(lèi)出來(lái)的分類(lèi)分支，另一個(gè)是提供目標(biāo)框回歸的回歸分支；

對(duì)于單個(gè)位置感知預(yù)測(cè)頭，將步驟S2中由金字塔特征融合模塊獲得的搜索圖像x和模板圖像z的三四五層融合特征Φ_s(x)和Φ_s(z)，復(fù)制為[φ_s(x)]_cls，[φ_s(z)]_cls，以及[Φ_s(x)]_reg，[Φ_s(z)]_reg到分類(lèi)分支和回歸分支；然后計(jì)算分類(lèi)特征圖和回歸特征圖其中★代表互相關(guān)操作，[Φ_s(x)]_cls、[Φ_s(z)]_cls分別代表搜索幀圖像x和模板幀圖像z得到的融合特征復(fù)制后的，用于分類(lèi)分支的特征圖，[Φ_s(x)]_reg，[Φ_s(z)]_reg分別代表由金字塔特征融合模塊獲得的搜索幀圖像x和模板幀圖像z的三四五層融合特征Φ_s(x)和Φ_s(z)，復(fù)制的，用于回歸分支的特征圖；分別代表分類(lèi)特征圖和回歸特征圖；

由于單級(jí)預(yù)測(cè)頭在面對(duì)相似干擾或者較大目標(biāo)變化時(shí)可能導(dǎo)致跟蹤性能退化，因此使用多級(jí)預(yù)測(cè)頭構(gòu)成位置感知預(yù)測(cè)模塊以依次細(xì)化目標(biāo)位置和變化，由此可得到位置感知預(yù)測(cè)模塊的分類(lèi)分支和回歸分支的特征圖，和其中w^cls和w^reg分別代表分類(lèi)分支和回歸分支中每個(gè)預(yù)測(cè)頭的權(quán)重；

S4：模型訓(xùn)練與在線(xiàn)跟蹤

在模型訓(xùn)練中，使用大型數(shù)據(jù)集進(jìn)行端到端訓(xùn)練，集中裁剪模板圖像和搜索圖像訓(xùn)練對(duì)，以訓(xùn)練層級(jí)孿生網(wǎng)絡(luò)，訓(xùn)練時(shí)采用隨機(jī)梯度下降方法優(yōu)化網(wǎng)絡(luò)參數(shù)，并逐漸減少所提的層級(jí)孿生網(wǎng)絡(luò)的整體損失，直到模型的性能不再提升；

在在線(xiàn)跟蹤中，給定待跟蹤的視頻序列，按照步驟1的方式獲取模板幀圖像并通過(guò)孿生子網(wǎng)絡(luò)提取模板特征，在隨后的序列幀中，根據(jù)前一幀的跟蹤結(jié)果提取搜索幀特征，獲取到模板幀和搜索幀圖像特征后送入到金字塔特征融合模塊分別獲得融合后的低層、中層和高層特征，將獲取到的融合特征分別對(duì)應(yīng)輸入到層級(jí)位置感知預(yù)測(cè)模塊的三個(gè)位置感知預(yù)測(cè)頭中，得到三個(gè)分類(lèi)特征圖和三個(gè)回歸特征圖；將三個(gè)分類(lèi)特征圖和三個(gè)回歸特征圖分別進(jìn)行加權(quán)融合，得到融合后的分類(lèi)結(jié)果和回歸結(jié)果，由此得到當(dāng)前幀的目標(biāo)結(jié)果。

2.根據(jù)權(quán)利要求1所述的一種層級(jí)孿生網(wǎng)絡(luò)的實(shí)時(shí)目標(biāo)跟蹤方法，其特征在于：所述步驟S1中，模板幀圖像z大小為127×127×3，搜索幀圖像x大小為255×255×3。