[發(fā)明專利]基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011057357.5
• 申請(qǐng)日: 2020-09-29
• 公開（公告）號(hào): CN112150510A
• 公開（公告）日: 2020-12-29
• 發(fā)明（設(shè)計(jì)）人: 陸永安;趙柯;王暐;張波;劉傳玲;周鐵軍;張華;付飛亞;李嘉;計(jì)宇;張樂
• 申請(qǐng)（專利權(quán)）人: 中國(guó)人民解放軍63875部隊(duì)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06N3/04;G06N3/08
• 代理公司: 西北工業(yè)大學(xué)專利中心 61204
• 代理人: 顧潮琪

1.一種基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法，其特征在于包括以下步驟：

步驟1，設(shè)計(jì)目標(biāo)跟蹤網(wǎng)絡(luò)TNet，用于提取目標(biāo)的深度卷積特征；對(duì)TNet進(jìn)行離線訓(xùn)練，包括有監(jiān)督預(yù)訓(xùn)練和增強(qiáng)學(xué)習(xí)訓(xùn)練；

步驟2，設(shè)計(jì)并訓(xùn)練跟蹤結(jié)果評(píng)估網(wǎng)絡(luò)ENet，用于輸出跟蹤過程中的在線采樣行為，控制TNet的更新過程；

步驟3，在跟蹤過程中，利用TNet定位目標(biāo)，然后根據(jù)ENet對(duì)當(dāng)前跟蹤結(jié)果的評(píng)估采樣不同的訓(xùn)練樣本，在線調(diào)整更新TNet，然后進(jìn)入下一幀跟蹤，重復(fù)本步驟，逐步調(diào)整跟蹤框成為目標(biāo)的最小外接矩形。

2.根據(jù)權(quán)利要求1所述的基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法，其特征在于：所述的步驟1中，TNet的輸入為圖像塊，經(jīng)過三個(gè)以上的卷積層提取圖像的深層卷積特征，然后經(jīng)過兩個(gè)以上的全連接層后至行為輸出層和目標(biāo)可信度輸出層；行為輸出層輸出4個(gè)方向的位移{T_left,T_right,T_up,T_down}來準(zhǔn)確定位目標(biāo)中心，輸出4個(gè)尺度變化{H_expand,H_shrink,W_expand,W_shrink}以應(yīng)對(duì)目標(biāo)長(zhǎng)寬方向上不一致的形變，輸出終止操作{stop}；目標(biāo)可信度輸出層輸出為對(duì)應(yīng)的行為置信度。

3.根據(jù)權(quán)利要求2所述的基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法，其特征在于：所述的4個(gè)尺度變化中高度方向和寬度方向上的尺度獨(dú)立變化。

4.根據(jù)權(quán)利要求1所述的基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法，其特征在于：所述的步驟1中，利用公開的物體檢測(cè)數(shù)據(jù)集，采用有監(jiān)督學(xué)習(xí)方法對(duì)TNet進(jìn)行預(yù)訓(xùn)練，目標(biāo)函數(shù)定義為多任務(wù)交叉熵?fù)p失函數(shù)L_TNet＝λ₁×L_{cross-entropy}(conf,conf^～)+(1-λ₁)×L_{cross-entropy}(act,act^～)，其中L_{cross-entropy}表示經(jīng)過one-hot形式的交叉熵?fù)p失函數(shù)，conf、act分別為網(wǎng)絡(luò)行為輸出層和目標(biāo)可信度輸出層的輸出，conf^～、act^～分別為對(duì)應(yīng)的真值，λ₁表示兩項(xiàng)損失的權(quán)重分配。

5.根據(jù)權(quán)利要求4所述的基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法，其特征在于：所述的λ₁取值范圍為[0.55,0.73]。

6.根據(jù)權(quán)利要求1所述的基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法，其特征在于：所述的步驟1中，固定經(jīng)過預(yù)訓(xùn)練的TNet卷積層的網(wǎng)絡(luò)參數(shù)，在多幀圖像序列上對(duì)其全連接層進(jìn)行增強(qiáng)學(xué)習(xí)訓(xùn)練，在序列的每一幀圖像中，利用預(yù)訓(xùn)練的TNet定位目標(biāo)，直至最后一幀的結(jié)果與真值進(jìn)行比較。

7.根據(jù)權(quán)利要求1所述的基于雙深度增強(qiáng)網(wǎng)絡(luò)的步進(jìn)式目標(biāo)跟蹤方法，其特征在于：所述的步驟2中，ENet的除輸出層以外的其它層結(jié)構(gòu)與TNet相同，且所有卷積層參數(shù)共享，輸入為當(dāng)前幀TNet的跟蹤框內(nèi)圖像塊，同時(shí)在倒數(shù)第二層的輸出后串接之前幀的歷史跟蹤結(jié)果；ENet的輸出為采樣行為{sample_suf，sample_neg，sample_none}，表示在當(dāng)前幀采樣TNet網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)的程度和方式，通過實(shí)施不同的采樣行為，TNet的在線微調(diào)樣本也發(fā)生相應(yīng)的變化。