[發明專利]一種基于深度學習的多目標跟蹤方法及系統

在審

• 申請號: 202210079363.3
• 申請日: 2022-01-24
• 公開（公告）號: CN114419101A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 陳震;張弛;張聰炫;盧鋒;葛利躍;陳昊;黎明
• 申請（專利權）人: 南昌航空大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T7/238;G06T5/50;G06V10/74;G06K9/62
• 代理公司: 北京高沃律師事務所 11569
• 代理人: 劉芳

本發明涉及一種基于深度學習的多目標跟蹤方法及系統，包括：將空間金字塔模塊嵌入到多尺度特征金字塔網絡中，得到改進后的特征提取網絡；獲取目標場景中T個時刻的圖像并輸入至所述改進后的特征提取網絡，得到T個時刻的目標位置檢測結果和目標特征向量；基于t時刻的目標位置檢測結果和預測結果計算交并比；根據前后兩時刻的目標特征向量計算目標特征余弦相似度；根據交并比和余弦相似度篩選出多個跟蹤目標物，并對同一跟蹤目標物賦予同一個標簽；對t+1時刻的目標特征向量進行自適應加權并更新，直至所有圖像中每個跟蹤目標物均賦予標簽，根據標簽進行多個目標跟蹤。引入了空間金字塔和自適應特征更新機制，提高多目標跟蹤的精準度。

技術領域

本發明涉及機器學習領域，特別是涉及一種基于深度學習的多目標跟蹤方法及系統。

背景技術

多目標跟蹤技術是計算機視覺領域中重要的分支之一。其主要功能是在獲取的視頻圖像中遍歷尋找感興趣的、具有某種顯著視覺特征的各個獨立運動目標的位置，并在接下來的視頻幀中進行跟蹤。因此多目標跟蹤技術被廣泛應用于各個領域。如智能人機交互、監控安防、無人駕駛、機器人智能導航與定位、巡航導彈制導等重要任務。

目前，傳統的多目標跟蹤方法和深度學習的方法對大部分場景具有較高的準確率和較少的身份變換。但是當場景復雜、人群擁擠、干擾物體過多以及目標面臨形變和光照變化等情況的時候，現有的多目標跟蹤方法的準確率和魯棒性仍有待進一步改善。因此，針對復雜場景、亮度變化、噪聲干擾、目標之間的遮擋等情況下多目標跟蹤效果不理想的問題。因此，本發明提供一種基于深度學習的多目標跟蹤方法及系統。

發明內容

本發明的目的是提供一種基于深度學習的多目標跟蹤方法及系統，利用空間金字塔和自適應特征更新機制對多目標跟蹤網絡模型進行優化，提高復雜場景下多目標跟蹤的精準度和魯棒性。

為實現上述目的，本發明提供了如下方案：

一種基于深度學習的多目標跟蹤方法，包括：

將空間金字塔模塊嵌入到多尺度特征金字塔網絡中，得到改進后的特征提取網絡；

獲取目標場景中T個時刻的圖像；所述圖像中包括多個目標；

將T個時刻的所述圖像輸入至所述改進后的特征提取網絡，得到T個時刻的目標位置檢測結果和T個時刻的目標特征向量；T＝1，2，...，t-1，t，t+1，...；

基于t時刻的目標位置檢測結果利用卡爾曼濾波進行t+1時刻目標狀態預測，得到t+1時刻的目標位置預測結果；t∈1,2,3...,T；

計算所述t+1時刻的目標位置預測結果和t+1時刻的目標位置檢測結果的交并比，得到目標位置交并比；

根據t時刻的目標特征向量和t+1時刻的目標特征向量計算目標特征余弦相似度；

根據所述目標位置交并比和所述目標特征余弦相似度篩選出多個跟蹤目標物，并對同一所述跟蹤目標物賦予同一個標簽；

根據所述目標特征余弦相似度結合自適應加權機制對t+1時刻的目標特征向量進行自適應加權，得到t+1時刻加權后的目標特征向量，將所述t+1時刻加權后的目標特征向量作為t+1時刻的目標特征向量，并且令t＝t+1，返回步驟“基于t時刻的目標位置檢測結果利用卡爾曼濾波進行t+1時刻目標狀態預測”，直至t＝T，每個時刻的所述圖像中的多個所述跟蹤目標物均賦予對應的所述標簽；

根據所述標簽進行多個所述跟蹤目標物的跟蹤。

一種基于深度學習的多目標跟蹤系統，包括：

特征提取網絡獲取模塊，用于將空間金字塔模塊嵌入到多尺度特征金字塔網絡中，得到改進后的特征提取網絡；

圖像獲取模塊，用于獲取目標場景中T個時刻的圖像；所述圖像中包括多個目標；