[發明專利]一種融合空間運動和表觀特征學習的多目標跟蹤方法

在審

• 申請號: 202010893678.2
• 申請日: 2020-08-31
• 公開（公告）號: CN112084914A
• 公開（公告）日: 2020-12-15
• 發明（設計）人: 趙杰
• 申請（專利權）人: 的盧技術有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06T7/246;G06T7/277
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

本發明公開了一種融合空間運動和表觀特征學習的多目標跟蹤方法，該方法具體為：利用yolo5方法實現圖像中目標的檢測；建立勻速狀態模型和線性觀測模型，采用kalman濾波對檢測的目標進行預測；利用CNN方法實現檢測出目標的特征描述向量；采用融合空間運動信息和表觀特征信息的目標相似性度量方法度量當前幀檢測目標與歷史幀檢測目標；根據最小相似度進行當前幀目標與歷史幀目標的匹配；對匹配結果的跟蹤器進行管理，提高了跟蹤器的置信度。本發明通過學習物體的空間運動信息和表觀特征信息進行歷史幀和當前幀目標的匹配，可以有效解決長期遮擋時目標丟失的情況；通過對跟蹤器進行管理，可以有效的控制身份ID的無限增長。

技術領域

本發明涉及一種融合空間運動和表觀特征學習的多目標跟蹤方法，屬于目標跟蹤技術領域。

背景技術

近年來，基于檢測的多目標跟蹤方法漸漸成為主流，因其更加的實時高效。比較經典的是Alex Bewley提出的基于交并集的多目標跟蹤方法以及簡單實時的多目標跟蹤方法(Simple Online and Realtime Tracking，SORT)。

一般SORT方法的具體步驟如下：1、通過kalman濾波方法用上一幀目標的位置預測當前幀目標的位置；2、通過快速區域卷積神經網絡(Towards Real-Time ObjectDetection with Region Proposal Networks，Faster R-CNN)網絡訓練模型，檢測當前幀的目標位置；3、計算當前幀中目標的預測位置與檢測位置的交并比；4、通過匈牙利算法，關聯匹配目標的預測位置和檢測位置以期獲得最大的交并比；并給每個目標分配身份標識。

現有方法通過先檢測出目標；再預測出目標；計算檢測目標與預測目標的交并集；匹配檢測目標與預測目標。雖然現有方法整體來說能產生很好的跟蹤效果，但是沒有考慮長期遮擋的情況，也沒有考慮身份標識管理的策略，導致產生過多的身份ID，以及長期遮擋是目標丟失情況。

發明內容

本發明所要解決的技術問題是：提供一種融合空間運動和表觀特征學習的多目標跟蹤方法，通過學習物體的空間運動信息和表觀特征信息進行歷史幀和當前幀目標的匹配，可以有效解決長期遮擋時目標丟失的情況；同時通過對跟蹤器進行管理，可以有效的控制身份ID的無限增長。

本發明為解決上述技術問題采用以下技術方案：

一種融合空間運動和表觀特征學習的多目標跟蹤方法，包括如下步驟：

步驟1，利用yolo5方法對當前幀上的目標物體進行檢測，獲取各目標物體在當前幀中的位置；

步驟2，采用卡爾曼濾波方法預測當前幀上各目標物體的位置，得到各目標物體的預測位置，對于每個目標物體，利用預測位置校正步驟1獲取的位置，得到最終位置；

步驟3，利用卷積神經網絡方法通過最終位置獲取各目標物體的特征描述向量；

步驟4，對于當前幀上的第j個目標物體，采用融合空間信息和表觀信息的目標相似性度量方法，計算其與當前幀的歷史幀中已匹配跟蹤器的各目標物體的相似度；

當前幀上的第j個目標物體與當前幀的歷史幀中已匹配跟蹤器的第i個目標物體的相似度d為：

d＝w1*d1+w2*(1-d2)

其中，w1、w2均為權重參數，d1表示當前幀上的第j個目標物體的特征描述向量與當前幀的歷史幀中已存在的標識為i的跟蹤器所對應的目標物體的特征描述向量之間的最小相似距離，d2表示交集與并集的比值，其中，交集為當前幀上的第j個目標物體的目標框與當前已存在的標識為i的跟蹤器所在的最近歷史幀中目標框的交集，并集為當前幀上的第j個目標物體的目標框與當前已存在的標識為i的跟蹤器所在的最近歷史幀中目標框的并集；