[發明專利]一種基于深度學習的多目標跟蹤方法及系統

在審

• 申請號: 202210079363.3
• 申請日: 2022-01-24
• 公開（公告）號: CN114419101A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 陳震;張弛;張聰炫;盧鋒;葛利躍;陳昊;黎明
• 申請（專利權）人: 南昌航空大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T7/238;G06T5/50;G06V10/74;G06K9/62
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 劉芳

1.一種基于深度學習的多目標跟蹤方法，其特征在于，包括：

將空間金字塔模塊嵌入到多尺度特征金字塔網絡中，得到改進后的特征提取網絡；

獲取目標場景中T個時刻的圖像；所述圖像中包括多個目標；

將T個時刻的所述圖像輸入至所述改進后的特征提取網絡，得到T個時刻的目標位置檢測結果和T個時刻的目標特征向量；T＝1，2，...，t-1，t，t+1，...；

基于t時刻的目標位置檢測結果利用卡爾曼濾波進行t+1時刻目標狀態預測，得到t+1時刻的目標位置預測結果；t∈1,2,3...,T；

計算所述t+1時刻的目標位置預測結果和t+1時刻的目標位置檢測結果的交并比，得到目標位置交并比；

根據t時刻的目標特征向量和t+1時刻的目標特征向量計算目標特征余弦相似度；

根據所述目標位置交并比和所述目標特征余弦相似度篩選出多個跟蹤目標物，并對同一所述跟蹤目標物賦予同一個標簽；

根據所述目標特征余弦相似度結合自適應加權機制對t+1時刻的目標特征向量進行自適應加權，得到t+1時刻加權后的目標特征向量，將所述t+1時刻加權后的目標特征向量作為t+1時刻的目標特征向量，并且令t＝t+1，返回步驟“基于t時刻的目標位置檢測結果利用卡爾曼濾波進行t+1時刻目標狀態預測”，直至t＝T，每個時刻的所述圖像中的多個所述跟蹤目標物均賦予對應的所述標簽；

根據所述標簽進行多個所述跟蹤目標物的跟蹤。

2.根據權利要求1所述的方法，其特征在于，所述將T個時刻的所述圖像輸入至所述改進后的特征提取網絡，得到T個時刻的目標位置檢測結果和T個時刻的目標特征向量，具體包括：

對每個時刻的所述圖像進行卷積操作后，得到下采樣特征圖；

對所述下采樣特征圖進行多層卷積操作，得到第一尺度特征圖、第二尺度特征圖、第三尺度特征圖；

將所述第三尺度特征圖經過空間金字塔模塊處理，得到處理后的第三尺度特征圖；

對所述處理后的第三尺度特征圖進行上采樣，同時對所述第二尺度的特征圖進行跳躍連接，得到處理后的第二尺度特征圖；

對所述處理后的第二尺度特征圖進行上采樣，同時對所述第一尺度的特征圖進行跳躍連接，得到處理后的第一尺度特征圖；

對所述處理后的第一尺度特征圖、所述處理后的第二尺度特征圖和所述處理后的第三尺度特征圖進行拼接融合后提取出每個目標的目標位置檢測結果和目標特征向量。

3.根據權利要求2所述的方法，其特征在于，所述空間金字塔模塊的表達式為：Y_w＝X_w+X_w(max 5×5)+X_w(max 9×9)+X_w(max 13×13)

其中，X_w表示輸入的特征圖；max5x5、max9x9、max13x13分別表示以5x5、9x9、13x13為池化核的最大值池化操作；“+”表示concat操作；Y_w表示通過空間金字塔模塊得到的輸出特征圖。

4.根據權利要求1所述的方法，其特征在于，所述基于t時刻的目標位置檢測結果利用卡爾曼濾波進行t+1時刻目標狀態預測，得到t+1時刻的目標位置預測結果，具體包括：

根據所述t時刻的目標位置檢測結果、t時刻至t+1時刻的狀態轉移矩陣計算t+1時刻目標位置預測值；

根據t+1時刻的目標位置檢測結果和所述t+1時刻目標位置預測值計算預測誤差值；

根據所述t+1時刻目標位置預測值、所述預測誤差值和卡爾曼增益計算t+1時刻目標位置預測調整值；所述t+1時刻目標位置預測調整值為t+1時刻的目標位置預測結果。