[發(fā)明專利]一種多目標跟蹤方法

在審

• 申請?zhí)枺?/td>: 202210107683.5
• 申請日: 2022-01-28
• 公開（公告）號: CN114494970A
• 公開（公告）日: 2022-05-13
• 發(fā)明（設(shè)計）人: 陳昊文;梁天柱
• 申請（專利權(quán)）人: 昆山市工業(yè)技術(shù)研究院有限責(zé)任公司
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/774;G06V10/82;G06V10/40;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京縱橫知識產(chǎn)權(quán)代理有限公司 32224
• 代理人: 董建林

1.一種多目標跟蹤網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，包括：

獲取數(shù)據(jù)集，所述數(shù)據(jù)集包括至少一段視頻，視頻按幀數(shù)分為多張圖片，將每張圖片作為訓(xùn)練樣本，每張圖片的所需識別目標均有標簽，并對訓(xùn)練樣本進行預(yù)處理；

將作為訓(xùn)練樣本的預(yù)處理后的圖片輸入預(yù)先建立好的多目標跟蹤網(wǎng)絡(luò)模型進行訓(xùn)練，直到模型損失函數(shù)對應(yīng)的損失函數(shù)值達到設(shè)定要求時停止訓(xùn)練，通過挑選訓(xùn)練輪次中效果較好的模型得到訓(xùn)練好的多目標跟蹤網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的多目標跟蹤網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述數(shù)據(jù)集包括訓(xùn)練集和測試集，訓(xùn)練集包括PD和KITTI聯(lián)合數(shù)據(jù)集，測試集包括KITTI數(shù)據(jù)集。

3.根據(jù)權(quán)利要求1所述的多目標跟蹤網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述對訓(xùn)練樣本進行預(yù)處理的方法包括：將作為訓(xùn)練樣本的圖片進行翻轉(zhuǎn)，對圖片進行翻轉(zhuǎn)的同時對圖片內(nèi)所需跟蹤目標的坐標進行翻轉(zhuǎn)處理。

4.根據(jù)權(quán)利要求1所述的多目標跟蹤網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，將作為訓(xùn)練樣本的預(yù)處理后的圖片輸入預(yù)先建立好的多目標跟蹤網(wǎng)絡(luò)模型進行訓(xùn)練，包括：

將訓(xùn)練樣本輸入預(yù)先建立好的多目標跟蹤網(wǎng)絡(luò)模型，所述訓(xùn)練樣本包括一端視頻中像素為1280×384×3的當(dāng)前幀圖片、上一幀有遮擋熱力圖片以及上一幀圖片；

訓(xùn)練樣本分別經(jīng)過不同的16組7×7的卷積核，并進行對應(yīng)位置相加操作，得到第一特征圖；

將第一特征圖輸入特征提取網(wǎng)絡(luò)塊，進行采樣，輸出像素為320×96×64的第二特征圖；

對第二特征圖進行多分支特征提取，輸出跟蹤目標的多種特征圖。

5.根據(jù)權(quán)利要求4所述的多目標跟蹤網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述將第一特征圖輸入特征提取網(wǎng)絡(luò)塊，進行采樣，包括將第一特征圖經(jīng)過stride為2的卷積模塊共4次，進行16倍下采樣，再通過反卷積進行升采樣2次，進行4倍的上采樣，輸出像素為320×96×64的第二特征圖。

6.根據(jù)權(quán)利要求4所述的多目標跟蹤網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，所述對第二特征圖進行多分支特征提取，包括：

提取特征向量，對第二特征圖中的每一個像素點生成一個對應(yīng)的特征向量，生成320×96個128維的特征向量，形成特征向量池；

和/或，提取跟蹤目標的有遮擋熱力圖；

和/或，提取跟蹤目標的無遮擋熱力圖；

和/或，提取跟蹤目標當(dāng)前幀相對于上一幀的偏移量，用于預(yù)測目標相鄰兩幀之間的位移，并與熱力圖相互配合從而實現(xiàn)遮擋軌跡的預(yù)測；

和/或，提取跟蹤目標邊界框的大小，用于最后顯示時方便人眼觀看。

7.根據(jù)權(quán)利要求6所述的多目標跟蹤網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，訓(xùn)練時，根據(jù)當(dāng)前幀輸入圖片和前一幀輸入圖片的處理結(jié)果提取特征向量，利用softmax方式進行計算得分；

根據(jù)有遮擋熱力圖提取指定的特征向量并與特征向量池中各個特征向量進行對比，結(jié)合軌跡預(yù)測對此幀目標位置進行評分，獲得最高得分；

對兩個得分進行相加操作，得到特征向量與特征向量池中的匹配值，并通過匈牙利算法實現(xiàn)匹配。