[發明專利]通過分而治之關聯的無人機多目標跟蹤方法與裝置

在審

• 申請號: 202211588069.1
• 申請日: 2022-12-12
• 公開（公告）號: CN115861386A
• 公開（公告）日: 2023-03-28
• 發明（設計）人: 劉澤林;廖本成;王興剛
• 申請（專利權）人: 華中科技大學
• 主分類號: G06T7/292
• 分類號: G06T7/292;G06T7/223;G06T7/246;G06V20/17;G06V10/74;G06V10/82;G06N5/04;G06V10/80;G06N3/0464;G06N3/08
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

本發明公開了一種通過分而治之關聯的無人機多目標跟蹤方法：將連續兩幀圖像和前一幀的運動查詢熱圖輸入到主干網中，同時預測當前幀目標的位置，外觀特征以及目標在相鄰幀間的運動；設計對跟蹤過程中的在線軌跡和丟失軌跡進行分而治之的目標關聯算法，利用運動信息對在線軌跡與檢測目標進行相鄰幀的關聯，利用外觀特征對丟失軌跡和檢測目標進行跨多幀的關聯；為確保位置關聯的可靠性，使用預測目標中心點運動計算當前幀目標邊界框在前一幀中的估計位置并與前一幀跟蹤的軌跡邊界框進行交并比相似度計算(運動匹配)；本發明在在圖像分辨率為608×1088的情況下，可以以實時速度運行。本發明還提供了相應的通過分而治之關聯的無人機多目標跟蹤裝置。

技術領域

本發明屬于深度學習與計算機視覺技術領域，更具體地，涉及一種通過分而治之關聯的無人機多目標跟蹤方法與裝置。

背景技術

目標跟蹤是計算機視覺的基本任務之一，它需要對連續視頻幀上的目標進行定位和身份確定。而為了達到這一目的，常常需要可靠的檢測器以及魯棒的跟蹤策略的設計。對于檢測器，需要進行多任務訓練的設計，對于跟蹤器，需要考慮具體的場景設計相應的跟蹤關聯策略。由于無人機場景下存在相機運動劇烈，相機運動模糊，圖像中的目標較為稀疏等特點，使得一般的基于固定攝像機場景下的跟蹤算法很難在運動場景中發揮有效的性能。外觀特征作為在無遮擋(稀疏場景中)比較可靠的關聯依據可以對無人機場景下的目標進行長程的關聯。然而部分場景下相機運動過快，目標外觀會因相機運動模糊而發生劇烈變化，這會影響外觀特征作為關聯依據的可靠性。此外，傳統的基于卡爾曼濾波作為運動模型的跟蹤器由于其線性運動的先驗假設，導致無人機場景中通過卡爾曼濾波得到的邊界框不能準確的反映跟蹤目標的準確位置。

發明內容

本發明針對無人機場景下劇烈的相機運動以及運動模糊對跟蹤性能的影響，提出了一種通過分而治之關聯算法的魯棒多目標跟蹤方案，以使跟蹤器可以在劇烈的運動中能穩健的關聯目標。并且其性能、速度在無人機場景中優于業界領先的傳統跟蹤框架。本發明主要結合運動位移和外觀特征在跟蹤過程中的優勢，利用運動和外觀在跟蹤過程中的互補性，在無人機場景中執行魯棒的目標關聯。

為實現上述目的，按照本發明的一個方面，提供了一種通過分而治之關聯的無人機多目標跟蹤方法，包括如下步驟：

(1)通過深度學習模型訓練檢測、運動預測以及外觀特征任務；

(2)將前一幀跟蹤結果查詢熱圖、前一幀圖像和當前幀圖像同時輸入到DCTrack主干網絡框架中，同時提取出當前幀的檢測框，對應目標的外觀特征以及目標在前后幀間的運動位移；

(3)采用分而治之的關聯策略，使用預測的運動位移和外觀特征分別處理在線和丟失軌跡，以充分利用位置信息與外觀信息的互補性作用。

本發明的一個實施例中，所述步驟(3)具體包括：

(3.1)利用預測的目標中心點在相鄰幀間的運動位移估計出當前幀檢測邊界框在前一幀中的位置，并和前一幀在線軌跡邊界框進行交并比相似度匹配，獲得匹配的在線軌跡仍保持為在線狀態，未獲得匹配的在線軌跡，將其標記為丟失軌跡；

(3.2)對于(3.1)中未獲得匹配的檢測目標，將其對應的外觀特征與丟失軌跡的外觀特征進行外觀相似度匹配，獲得匹配的丟失軌跡被認為是重識別的軌跡，將其標記為在線軌跡，未獲得匹配的丟失軌跡考察其丟失幀數，若大于N個幀，則會判定該軌跡已經離開場景并將其刪除，其中N為預設值；

(3.3)對于(3.2)中未獲得匹配的檢測目標，與前一幀不確定的新軌跡進行邊界框交并比匹配，沒有獲得關聯的不確定軌跡將會被判定為假陽性軌跡并將其刪除，獲得關聯的不確定軌跡將其軌跡狀態標記為在線軌跡；

(3.4)對于(3.3)中未獲得匹配的檢測目標，考察其置信度分數，若置信度大于閾值A，則將其初始化為新軌跡，并將新軌跡標識為不確定狀態，以留在下一幀的跟蹤中對其進行考察，其中A為預設閾值；