[發明專利]一種基于圖神經網絡的多目標跟蹤方法和系統

有效

• 申請號: 201911312114.9
• 申請日: 2019-12-18
• 公開（公告）號: CN111161315B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 蔣婷婷;高旭;李佳河
• 申請（專利權）人: 北京大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/74;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

本申請公開了一種基于圖神經網絡的多目標跟蹤方法和系統，包括：預處理訓練集，得到節點集合、邊集合和全局變量；輸入節點集合、邊集合和全局變量至圖神經網絡得到外貌相似度矩陣和運動相似度矩陣；使用優化算法，根據損失函數、外貌相似度矩陣和運動相似度矩陣訓練圖神經網絡，確定圖神經網絡的設置參數，再訓練，得到訓練好的圖神經網絡；使用訓練好的圖神經網絡處理數據集，得到相似度矩陣；使用匹配算法對相似度矩陣進行計算得到數據集中目標的匹配結果。使用圖神經網絡，通過優化算法和損失函數，能夠對節點集合、邊集合和全局變量進行更新，通過在節點和邊之外引入全局變量并更新，使圖神經網絡可以捕獲全局信息，提高多目標跟蹤的性能。

技術領域

本申請涉及多目標跟蹤領域，尤其涉及一種基于圖神經網絡的多目標跟蹤方法和系統。

背景技術

隨著多媒體技術的發展以及視頻采集設備的普及，視頻等多媒體產品的產量越來越大，在日常生活的作用越來越大。在運動分析、人機交互、視頻監控(異常行為識別)和自動駕駛等領域中，對視頻中多個目標進行跟蹤是一個基礎且重要的任務。視頻多目標跟蹤技術在理論研究和實際應用中都有很大的研究價值。

跟蹤任務分為：單目標跟蹤任務和多目標跟蹤任務。單目標跟蹤任務是對最開始指定的一個目標進行跟蹤，多目標跟蹤則是需要對視野中所有目標進行跟蹤。跟蹤任務需要克服的難點有：跟蹤目標被遮擋，運動模糊導致的外貌特征變化。雖然可以將單目標跟蹤方法直接應用到多目標跟蹤任務中，但是簡單地應用方式是不可行的。相比單目標跟蹤任務，多目標跟蹤任務中跟蹤目標的數量是變化的。多目標跟蹤方法需要確定當前幀中的跟蹤目標數量，需要確定哪些目標離開了視野以及哪些目標進入了視野。相較于單目標跟蹤任務，多目標跟蹤任務中的目標被遮擋更加頻繁，同時相似外貌的目標也會更多。如果簡單地將單目標跟蹤方法用于多目標跟蹤任務，跟蹤性能會很差。

視頻多目標跟蹤方法一般分為離線多目標跟蹤、在線多目標跟蹤和近似在線多目標跟蹤。離線多目標跟蹤方法是利用視頻中所有幀的信息，來完成多目標跟蹤。但是，在實際應用中，更多地，需要實時地對多個目標進行跟蹤，而不是需要等獲得整個視頻后再進行跟蹤。此時，就需要用到在線的多目標跟蹤方法。在線多目標跟蹤方法是利用當前幀以及當前幀之前幀的信息，來進行多目標跟蹤。因為離線多目標跟蹤方法利用的信息更多，所以離線多目標跟蹤方法的跟蹤性能一般要比在線多目標跟蹤方法的跟蹤性能好。為了滿足跟蹤性能和實時性的應用需求，近似在線多目標跟蹤方法應運而生。近似在線多目標跟蹤方法是介于離線多目標跟蹤方法和在線多目標跟蹤方法之間的多目標跟蹤方法。相比在線多目標跟蹤方法，近似在線多目標跟蹤法方法還利用了當前幀之后一段時間的信息用于跟蹤。故而，相比在線多目標跟蹤方法，近似在線多目標跟蹤方法利用了更多的信息用于跟蹤，可以獲得更好的跟蹤性能；相比離線多目標跟蹤方法，近似在線多目標跟蹤方法無須獲得整段視頻后再進行跟蹤，近似在線多目標跟蹤方法可以進行存在一定時延的“實時”跟蹤。

多目標跟蹤方法的策略分為：先檢測再跟蹤策略和無模型策略。先檢測再跟蹤策略即為：首先對視頻中每一幀中的目標進行檢測，并以標注框的形式給出；然后進行跟蹤。采用先檢測再跟蹤策略的多目標跟蹤任務目的是：將不同幀中屬于同一個目標的標注框連接起來。無模型策略是：只給出第一幀中需要跟蹤目標的標注框，然后跟蹤方法需要先做檢測再做跟蹤。在跟蹤過程中，隨時可能會有目標離開視野，同時也會有新的目標進入視野。無模型策略雖然更符合跟蹤的情景，但是對于新進入的目標它仍需要給定初始的標注框。雖然木模型需要提供的標注框更少，但是對于跟蹤目標始終需要一個初始框。所以，多目標跟蹤方法大多采用先檢測再跟蹤的策略。

現有的多目標跟蹤方法主要利用三類特征信息進行跟蹤：外貌特征、運動特征和交互特征。外貌特征主要包含傳統特征和深度特征。其中傳統的外貌特征包含：顏色直方圖(RGB直方圖、HSV直方圖等)，形狀和紋理。深度特征則是通過預訓練的深度神經網絡提取得到。運動特征是指對目標的運動速度進行建模，運動模型包括線性運動模型和非線性模型。其中，線性模型是假設目標運動速度是恒定的。交互特征是指對視頻中多個目標間的關系進行建模，例如一個群體的運動方向和速度是相同的。外貌特征、運動特征和交互特征可以為多目標跟蹤方法提供有用的信息。