[發明專利]一種基于多特征最優關聯的在線多目標跟蹤方法

有效

• 申請號: 201910190955.0
• 申請日: 2019-03-14
• 公開（公告）號: CN109859238B
• 公開（公告）日: 2021-03-12
• 發明（設計）人: 徐明亮;張亞兵;呂培;周兵
• 申請（專利權）人: 鄭州大學
• 主分類號: G06T7/20
• 分類號: G06T7/20;G06T7/246;G06T7/277;G06T7/70
• 代理公司: 廣東君龍律師事務所 44470
• 代理人: 金永剛

本發明公開了一種基于多特征最優關聯的在線多目標跟蹤方法。該方法包括實時檢測視頻流中的每一幀圖像，提取圖像中的多目標信息，通過CNN網絡提取目標的表觀特征，通過深度網絡棧提取目標的深度特征，通過卡爾曼濾波跟蹤器預測目標的運動特征，然后基于以上多特征模型的構建求檢測序列集合與跟蹤序列集合的相似度，再通過分層策略構建關聯矩陣，并進行最優關聯矩陣求解與更新，實現多目標的跟蹤。該方法有效提高了相對運動情況下的多目標跟蹤準確度與精度。

技術領域

本發明涉及計算機視覺和圖形學領域，尤其涉及一種基于多特征最優關聯的在線多目標跟蹤方法。

背景技術

在線多目標跟蹤技術因在視覺監控、人機交互、自動駕駛等方面的深入應用具有顯著學術與商業價值。

當前基于目標檢測的在線多目標跟蹤方法大多應用了卡爾曼濾波、粒子濾波或者馬爾科夫決策過程，同時增添顏色或梯度方向直方圖的外觀模型及交互模型，輔助進行聯合概率或多假設的關聯。盡管如今已經有多種方法來處理該問題，但在復雜場景下，例如攝像頭相對運動、目標重疊遮擋、外觀巨變等問題，仍然面臨許多問題挑戰。因此為了更大程度的提升多目標跟蹤的準確度和多目標跟蹤的精確度，需要一種高精度且具有清晰理論支撐的在線多目標跟蹤方法。

發明內容

本發明主要解決的技術問題是提供一種基于多特征最優關聯的在線多目標跟蹤方法，解決現有技術中的提升多目標跟蹤準確度和精確度的問題。

為解決上述技術問題，本發明采用的一個技術方案是提供一種基于多特征最優關聯的在線多目標跟蹤方法，包括以下步驟：第一步，檢測視頻流中幀圖像的多目標信息，實時檢測視頻流中的每一幀圖像，獲取當前幀圖像中所含的多個目標對應的檢測序列集合，以及前一幀圖像中所含的多個目標對應的跟蹤序列集合；第二步，構建目標特征模型并求解相似度，對所述檢測序列集合中的每個檢測目標子集提取檢測特征值，對所述跟蹤序列集合中的每個跟蹤目標子集提取跟蹤特征值，然后求解所述檢測特征值和跟蹤特征值的特征相似度；第三步，求解相連幀圖像的匹配關聯度并連續跟蹤，基于所述特征相似度，構建關聯矩陣并進行關聯匹配優化，更新所述跟蹤序列集合，重復上述步驟，實現多目標連續跟蹤。

在本發明基于多特征最優關聯的在線多目標跟蹤方法另一實施例中，在所述第一步中，所述檢測序列集合為 D＝{q₁,q₂,q₃,...,q_j,...,q_N-1,q_N}，其中包含的任一檢測目標子集 q_j＝{c_j,x_j,y_j,w_j,h_j}，c_j為置信度，(x_j,y_j)為中心坐標，w_j為寬度，h_j為高度，N為檢測目標子集的數量；

所述跟蹤序列集合為T＝{r₁,r₂,r₃,...r_i...,r_M-1,r_M}，其中包含的任一跟蹤目標子集id_i為目標識別號，c_i為置信度， (x_i,y_i)為中心坐標，w_i為寬度，h_i為高度，Δw_i為寬度變化量，Δh_i為高度變化量，M為跟蹤目標子集的數量。