[發(fā)明專利]基于深度學(xué)習(xí)的視覺(jué)多目標(biāo)跟蹤方法及裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202010698618.5
• 申請(qǐng)日: 2020-07-20
• 公開(kāi)（公告）號(hào): CN111860504A
• 公開(kāi)（公告）日: 2020-10-30
• 發(fā)明（設(shè)計(jì)）人: 李輝;劉亞鵬;張淑軍;董燕;王傳旭;徐凌偉
• 申請(qǐng)（專利權(quán)）人: 青島科技大學(xué)
• 主分類號(hào): G06K9/32
• 分類號(hào): G06K9/32;G06K9/62;G06T7/246;G06N3/04;G06N3/08
• 代理公司: 青島聯(lián)智專利商標(biāo)事務(wù)所有限公司 37101
• 代理人: 李升娟

1.一種基于深度學(xué)習(xí)的多目標(biāo)跟蹤方法，其特征在于，所述方法包括：

將視頻幀序列輸入到訓(xùn)練后的殘差網(wǎng)絡(luò)中;

將所述殘差網(wǎng)絡(luò)至少一個(gè)底層的輸出特征與該網(wǎng)絡(luò)最后一層的輸出特征融合,輸出殘差網(wǎng)絡(luò)融合特征圖;

將當(dāng)前視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖分別與相鄰的前兩視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖進(jìn)行相似性度量,獲得與所述前兩視頻幀對(duì)應(yīng)的注意力圖;

利用所述前兩視頻幀對(duì)應(yīng)的注意力圖對(duì)所述當(dāng)前視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖作加權(quán)處理,輸出當(dāng)前視頻幀的空間增強(qiáng)特征圖;

將所述當(dāng)前視頻幀的空間增強(qiáng)特征圖輸入到訓(xùn)練后的LSTMs網(wǎng)絡(luò)中,輸出時(shí)空增強(qiáng)特征圖;

將所述時(shí)空增強(qiáng)特征圖輸入到訓(xùn)練后的RPN網(wǎng)絡(luò)中,輸出帶有區(qū)域建議的特征圖;

將所述帶有區(qū)域建議的特征圖輸入到訓(xùn)練后的目標(biāo)檢測(cè)器,輸出目標(biāo)檢測(cè)結(jié)果;將所述帶有區(qū)域建議的特征圖輸入到訓(xùn)練后的數(shù)據(jù)關(guān)聯(lián)頭,預(yù)測(cè)關(guān)聯(lián)矢量;

基于所述目標(biāo)檢測(cè)結(jié)果和所述關(guān)聯(lián)矢量進(jìn)行目標(biāo)跟蹤。

2.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多目標(biāo)跟蹤方法，其特征在于，將所述殘差網(wǎng)絡(luò)至少一個(gè)底層的輸出特征與該網(wǎng)絡(luò)最后一層的輸出特征融合,輸出殘差網(wǎng)絡(luò)融合特征圖，具體包括：

將所述殘差網(wǎng)絡(luò)第二層的輸出特征和第三層的輸出特征作為底層的輸出特征，與該網(wǎng)絡(luò)最后一層的輸出特征融合，輸出殘差網(wǎng)絡(luò)融合特征圖。

3.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的多目標(biāo)跟蹤方法，其特征在于，將當(dāng)前視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖分別與相鄰的前兩視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖進(jìn)行相似性度量,獲得與所述前兩視頻幀對(duì)應(yīng)的注意力圖;利用所述前兩視頻幀對(duì)應(yīng)注意力圖對(duì)所述當(dāng)前視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖作加權(quán)處理,輸出當(dāng)前視頻幀的空間增強(qiáng)特征圖，具體包括：

將所述當(dāng)前視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖分別與相鄰的前兩視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖利用匹配網(wǎng)絡(luò)計(jì)算對(duì)應(yīng)位置之間的相似度，得到兩個(gè)相似度矩陣；

將兩個(gè)所述相似度矩陣分別轉(zhuǎn)換為指定尺寸的特征圖，將所述指定尺寸的特征圖經(jīng)卷積層處理，然后通過(guò)softmax分類器分別計(jì)算出與所述前兩視頻幀對(duì)應(yīng)的注意力圖；

將所述當(dāng)前視頻幀的所述殘差網(wǎng)絡(luò)融合特征圖轉(zhuǎn)換為所述指定尺寸的特征圖，利用所述前兩視頻幀對(duì)應(yīng)的注意力圖分別對(duì)所述當(dāng)前視頻幀的所述指定尺寸的特征圖作加權(quán)處理，輸出當(dāng)前視頻幀的空間增強(qiáng)特征圖。

4.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的視覺(jué)多目標(biāo)跟蹤方法，其特征在于，將所述帶有區(qū)域建議的特征圖輸入到訓(xùn)練后的目標(biāo)檢測(cè)器,輸出目標(biāo)檢測(cè)結(jié)果，具體包括：

將所述帶有區(qū)域建議的特征圖分別輸入到訓(xùn)練后的ROI分類器、邊界框回歸器和分割掩碼網(wǎng)絡(luò)，輸出包括有目標(biāo)分類、分?jǐn)?shù)、預(yù)測(cè)邊界框以及分割掩碼的目標(biāo)檢測(cè)結(jié)果。

5.根據(jù)權(quán)利要求1所述的基于深度學(xué)習(xí)的視覺(jué)多目標(biāo)跟蹤方法，其特征在于，在訓(xùn)練所述數(shù)據(jù)關(guān)聯(lián)頭的訓(xùn)練過(guò)程中，采用下述損失函數(shù)L_ta修正預(yù)測(cè)結(jié)果：

；

其中，；batch為批處理圖片組，P為目標(biāo)數(shù)量，K為同一個(gè)目標(biāo)對(duì)應(yīng)的不同圖片的數(shù)量，a為batch中的任一張圖片，A為與a具有相同目標(biāo)的圖片集，B為與a不具有相同目標(biāo)的圖片集，p為與a距離最遠(yuǎn)的正樣本，n為與a距離最近的負(fù)樣本，α為閾值參數(shù)，max表示最大值，min表示最小值，nonmax表示非最大值，nonmin表示非最小值。