[發(fā)明專利]一種基于Siamese網(wǎng)絡(luò)的單目標(biāo)跟蹤方法

有效

• 申請?zhí)枺?/td>: 202010550201.4
• 申請日: 2020-06-16
• 公開（公告）號: CN111797716B
• 公開（公告）日: 2022-05-03
• 發(fā)明（設(shè)計）人: 饒云波;程奕茗;郭毅;薛俊民
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/26;G06N3/04;G06N3/08
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 周劉英

1.基于Siamese網(wǎng)絡(luò)的單目標(biāo)跟蹤方法，其特征在于，包括下列步驟：

步驟一、構(gòu)建跟蹤器模型的網(wǎng)絡(luò)結(jié)構(gòu)并進(jìn)行網(wǎng)絡(luò)參數(shù)的訓(xùn)練；

(1)構(gòu)建跟蹤器模型的網(wǎng)絡(luò)結(jié)構(gòu)：

所述跟蹤器模型包括模板分支與搜索分支；

其中，模板分支包括特征提取網(wǎng)絡(luò)、分類層和回歸層；模板分支的特征提取網(wǎng)絡(luò)的輸出分別輸入到其分類層和回歸層；

搜索分支包括特征提取網(wǎng)絡(luò)、分類層和回歸層；搜索分支的特征提取網(wǎng)絡(luò)的輸出分別輸入到其分類層和回歸層；

模板分支的特征提取網(wǎng)絡(luò)與搜索分支的特征提取網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)相同；

且搜索分支的分類層的輸出與模板分支的分類層的輸出的卷積結(jié)果作為跟蹤器模型的分類輸出；搜索分支的回歸層的輸出與模板分支的回歸層的輸出的卷積結(jié)果作為跟蹤器模型的回歸輸出；

所述特征提取網(wǎng)絡(luò)包括初始層、層Layer1～Layer4；

其中，初始層包括1個卷積層和1個池化層；

Layer1、Layer2和Layer4分別包括3個卷積層；Layer3包括6個卷積層；

并將Layer1、Layer2和Layer3的卷積輸出與Layer2、Layer3和Layer4的卷積輸出的上采樣特征進(jìn)行特征融合，從而得到特征提取網(wǎng)絡(luò)的特征輸出；

(2)跟蹤器模型的網(wǎng)絡(luò)參數(shù)訓(xùn)練：

設(shè)置訓(xùn)練數(shù)據(jù)，包括模板圖像和檢測圖像；

將模板分支和搜索分支的特征提取網(wǎng)絡(luò)的特征輸出分別記為特征圖和

根據(jù)獲取模板分支和搜索分支的互相關(guān)操作得分s(z,x)，其中*表示互相關(guān)操作，表示偏置值；

并在搜索分支中跟蹤目標(biāo)周圍生成k個與跟蹤目標(biāo)相同大小的錨箱，將每個錨箱區(qū)域d_i對應(yīng)的特征圖信息記為根據(jù)計算跟蹤目標(biāo)與所有錨箱對象的正分?jǐn)?shù)σ_inst(s)；其中，

并根據(jù)公式計算批次為N的所有數(shù)據(jù)的嵌入式損失函數(shù)

將模板分支的分類層和回歸層的輸出分別記為特征圖[φ(z)]_cls和[φ(z)]_reg；以及將搜索分支的分類層和回歸層的輸出分別記為特征圖[φ(x)]_cls和[φ(x)]_reg；

根據(jù)得到維度為w×h×2k的分類分?jǐn)?shù)

根據(jù)得到維度為w×h×4k的回歸分?jǐn)?shù)

其中，★表示卷積運算,w、h表示跟蹤檢測框的寬和高；

根據(jù)損失函數(shù)對跟蹤器模型的網(wǎng)絡(luò)參數(shù)進(jìn)行端到端訓(xùn)練；

其中，表示分類損失函數(shù)，表示回歸損失函數(shù)，λ和α表示對應(yīng)損失函數(shù)的權(quán)重；

步驟二、單目標(biāo)跟蹤處理：

將待跟蹤的視頻分割成圖像幀，得到搜索圖像幀序列；

將搜索圖像幀序列的初始幀輸入模板分支，并將模板分支的分類層、回歸層的輸出分別作為模板幀分類特征圖、模板幀回歸特征圖；即將模板分支的分類層和回歸層的輸出作為權(quán)重，用于后續(xù)幀的跟蹤檢測；

并從搜索圖像幀序列的第二幀開始，按序輸入搜索分支；并基于搜索分支的分類層、回歸層的輸出分別作為檢測幀分類特征圖、檢測幀回歸特征圖；

將檢測幀分類特征圖以模板分類特征圖為卷積核進(jìn)行卷積處理，得到當(dāng)前幀的目標(biāo)檢測分類結(jié)果；以及將檢測幀回歸特征圖以模板回歸特征圖為卷積核進(jìn)行卷積處理，得到當(dāng)前幀的目標(biāo)檢測的回歸輸出；從而基于各幀的目標(biāo)檢測信息得到搜索圖像幀序列的目標(biāo)跟蹤結(jié)果。

2.如權(quán)利要求1所述的方法，其特征在于，分類損失函數(shù)采用交叉熵?fù)p失函數(shù)。

3.如權(quán)利要求1所述的方法，其特征在于，所述回歸損失函數(shù)為：

其中，σ表示超參數(shù)；

{A_x,A_y,A_w,A_h}表示錨箱的中心點和形狀，其中(A_x,A_y)表示錨箱的中心點，A_w,A_h分別表示錨箱的寬和高；{T_x,T_y,T_w,T_h}為真實值的中心點和形狀。