[發(fā)明專利]一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210632698.3
• 申請(qǐng)日: 2022-06-06
• 公開(kāi)（公告）號(hào): CN115035159A
• 公開(kāi)（公告）日: 2022-09-09
• 發(fā)明（設(shè)計(jì)）人: 劉勇;林葉能;王蒙蒙
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06T7/246
• 分類號(hào): G06T7/246;G06T7/277;G06V10/74;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州泓呈祥專利代理事務(wù)所(普通合伙) 33350
• 代理人: 張嬋嬋

1.一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，包括以下步驟：

S1、準(zhǔn)備和處理數(shù)據(jù)集，將處理后的數(shù)據(jù)作為模型訓(xùn)練和測(cè)試的輸入數(shù)據(jù)；

S2、對(duì)模型結(jié)構(gòu)中的目標(biāo)檢測(cè)與ReID任務(wù)進(jìn)行分離；

S3、利用時(shí)序信息構(gòu)建ReID任務(wù)模塊改善模型結(jié)構(gòu)；

S4、模型的后處理推理，將所述改善后的模型結(jié)構(gòu)應(yīng)用到多目標(biāo)跟蹤的數(shù)據(jù)關(guān)聯(lián)匹配過(guò)程里。

2.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述步驟S1具體包括以下步驟：

S11、收集無(wú)人機(jī)視頻序列集合作為數(shù)據(jù)集；

S12、將所述數(shù)據(jù)集標(biāo)注為coco格式，所述coco格式能夠提供幀數(shù)的序號(hào)、目標(biāo)ID、包圍框左上頂點(diǎn)坐標(biāo)、包圍框的寬與高、該目標(biāo)是否被遮擋以及該目標(biāo)是否需要被忽略；

S13、對(duì)所述數(shù)據(jù)集根據(jù)類別對(duì)ID進(jìn)行統(tǒng)計(jì)；

S14、將所述數(shù)據(jù)集中的每一張圖像進(jìn)行旋轉(zhuǎn)和縮放處理。

3.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述步驟S2具體包括以下步驟：

S21、將模型上的骨干網(wǎng)絡(luò)的解碼器改為兩個(gè)相同結(jié)構(gòu)的解碼器分別用于目標(biāo)檢測(cè)與ReID任務(wù)；

S22、模型輸入改為雙幀輸入并將兩幀圖像進(jìn)行參數(shù)共享后通過(guò)編碼器進(jìn)行特征提??；

S23、將提取到特征同時(shí)輸入所述兩個(gè)結(jié)構(gòu)相同的解碼器中分別進(jìn)行目標(biāo)檢測(cè)與ReID任務(wù)。

4.根據(jù)權(quán)利要求3所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述步驟S23具體為：在目標(biāo)檢測(cè)部分，首先在由解碼器得到的上一幀的特征后接一個(gè)多層的卷積并將該特征圖與由解碼器得到的當(dāng)前幀的特征進(jìn)行拼接，最后通過(guò)熱度圖分支得到目標(biāo)檢測(cè)分支的輸出；在ReID任務(wù)部分，添加了特征加強(qiáng)模塊，將由解碼器得到的相鄰幀特征以及上一幀的熱度圖作為特征模塊的輸入信息，經(jīng)過(guò)模塊的信息整合后得到ReID任務(wù)分支的輸出。

5.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述步驟S3具體分為訓(xùn)練階段和推理階段。

6.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述訓(xùn)練階段具體包括以下步驟：

S311、通過(guò)數(shù)據(jù)集的標(biāo)注信息獲取上一幀中特征圖相應(yīng)位置的特征將其與當(dāng)前特征圖進(jìn)行相似度計(jì)算得到上一幀中每一個(gè)物體與當(dāng)前幀每一個(gè)點(diǎn)的特征距離；

S312、得到上一幀中特征圖與當(dāng)前特征圖的兩兩對(duì)應(yīng)的位置信息之后進(jìn)行特征融合。

7.根據(jù)權(quán)利要求5所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述推理階段具體包括以下步驟：

S321、利用熱度圖中得到上一幀可能存在的目標(biāo)數(shù)目，并將這些目標(biāo)對(duì)應(yīng)位置的ReID特征信息作為輸入之一到特征模塊中；

S322、設(shè)置一個(gè)閾值，若上一幀的中心點(diǎn)與匹配到的當(dāng)前幀中心點(diǎn)位置相距超過(guò)所述閾值，則認(rèn)為該匹配到的點(diǎn)不可信將其忽略，只保留可信度大的匹配點(diǎn)與當(dāng)前特征圖進(jìn)行特征融合。

8.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述步驟S3具體為將上一幀的熱度圖、上一幀的特征圖以及當(dāng)前幀的特征圖進(jìn)行特征融合。

9.根據(jù)權(quán)利要求1所述的一種基于深度學(xué)習(xí)和時(shí)序特征增強(qiáng)的視頻多目標(biāo)跟蹤方法，其特征在于，所述步驟S4具體包括以下步驟：

S41、以三幀作為一個(gè)回合，第一幀將模型得到的熱度圖以及ReID特征進(jìn)行歸一化與標(biāo)準(zhǔn)化，并對(duì)熱度圖進(jìn)行非極大值抑制處理，根據(jù)所設(shè)閾值篩選出可能存在的物體，對(duì)第一幀的物體進(jìn)行賦予ID；

S42、第二幀重復(fù)第一幀的操作，得到可能存在的物體后，將其進(jìn)行與第一幀的物體進(jìn)行包圍框iou的匹配，保留符合預(yù)期的檢測(cè)，賦予相同ID，并保留那些未匹配上的物體；

S43、第三幀則是在第二幀的基礎(chǔ)上添加ReID特征，將相鄰幀的檢測(cè)目標(biāo)進(jìn)行ReID特征的余弦距離計(jì)算，并通過(guò)卡爾曼濾波進(jìn)行運(yùn)動(dòng)預(yù)測(cè)，結(jié)合表觀與運(yùn)動(dòng)特征進(jìn)行數(shù)據(jù)關(guān)聯(lián)；

S44、將第三幀中未匹配上的物體與上一幀的物體進(jìn)行iou計(jì)算，如果小于固定閾值則視為新增目標(biāo)，賦予新的ID,之后的每一幀重復(fù)以上的步驟，完成視頻多目標(biāo)跟蹤的后處理步驟。