[發明專利]一種基于時間序列多特征融合的多目標跟蹤方法

有效

• 申請號: 201811210852.8
• 申請日: 2018-10-17
• 公開（公告）號: CN109360226B
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 田勝;陳麗瓊;鄒煉;范賜恩;楊燁;胡雨涵
• 申請（專利權）人: 武漢大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/62
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 薛玲

本發明提出了一種基于時間序列多特征融合的多目標跟蹤方法。本發明方法根據多目標檢測算法得到跟蹤目標的類別以及候選框；使用卷積網絡以及相關濾波器計算移動預測中心點并篩選候選框；計算外觀相似性分數；計算運動相似性分數；計算交互特征相似性分數；進行篩選后候選框在當前幀圖像的跟蹤框的轉換，更新跟蹤目標的特征信息；計算未匹配到候選框的跟蹤目標的移動預測中心點以及篩選候選框；對于已存在的跟蹤目標進行關聯未匹配的候選框，構建新跟蹤目標；采用交并比計算各個跟蹤目標間的重疊度；將多幀圖像中連續處于丟失態的跟蹤目標認定為已經消失的目標。與現有技術相比，本發明提高了跟蹤精度。

技術領域

本發明涉及計算機視覺、目標跟蹤技術領域，具體地涉及一種基于時間序列多特征融合的多目標跟蹤方法。

背景技術

目標跟蹤是指在圖像序列中，先檢測到系統感興趣的目標，對目標進行準確的定位，然后在目標移動的過程中不斷更新目標的運動信息，從而實現對目標的持續跟蹤。目標跟蹤可分為多目標跟蹤和單目標跟蹤，單目標跟蹤只關注一個感興趣目標，其任務是設計一個運動模型或者外觀模型解決尺度變換、目標遮擋、光照等因素影響，逐幀標定出感興趣目標對應的圖像位置。相較于單目標跟蹤，多目標跟蹤還需要解決兩個額外的任務：發現并處理視頻序列中新出現的目標和消失的目標；維持各個目標特定的身份。

跟蹤目標的初始化、頻繁遮擋、目標離開檢測區域、多個目標相似的外觀、以及多個目標之間的交互都會給多目標跟蹤增加難度。為了及時判斷新出現的目標和消失的目標，多目標跟蹤算法往往需要多目標檢測作為算法實現的基礎。

近年來，隨著深度學習的發展，計算機視覺領域的發展十分迅速。目標檢測算法已經十分準確，且具有較高的處理速度。但在多目標跟蹤領域，由于多目標跟蹤的難點尚未完全解決，基于檢測的數據關聯算法仍然具有很大的提升空間。本發明的創新點在于使用相關濾波算法預測各個目標的位置，降低了檢測算法的依賴度，同時提出了一個基于物體位置、外觀、運動、交互多特征的LSTM(Long Short-Term Memory)網絡框架，通過提取高區分度的特征模型，克服了多目標遮擋問題，提高了多目標跟蹤的精度。

目前，多目標跟蹤領域較為流行的方式是依賴于檢測器的數據關聯算法，此類方法很好地解決了目標初始化、消亡、以及尺度變換等問題，但仍不能很好解決過度依賴檢測器性能、多目標間相互遮擋、相似外觀目標區分等問題。

發明內容

為了解決上述技術問題，本發明提出了一種基于時間序列多特征數據關聯的多目標跟蹤方法。

本發明的技術方案為一種基于時間序列多特征數據關聯的多目標跟蹤方法，具體包括以下步驟：

步驟1：根據SSD多目標檢測算法檢測幀圖像中的跟蹤目標，通過SSD檢測跟蹤目標的置信度與置信度閾值的比較，統計跟蹤目標的類別以及跟蹤目標的候選框；

步驟2：使用卷積網絡提取跟蹤目標在當前幀的位置框的卷積特征，通過跟蹤目標的相關濾波器計算當前幀圖像中各個位置的響應置信度得分，將得分最高的點定義為當前幀圖像下跟蹤目標的移動預測中心點，并通過移動預測中心點篩選的候選框；

步驟3：計算處于跟蹤態或丟失態的跟蹤目標和篩選后候選框的外觀相似性分數；

步驟4：計算處于跟蹤態或丟失態的跟蹤目標和篩選后候選框的運動相似性分數；

步驟5：計算處于跟蹤態或丟失態的跟蹤目標和篩選后候選框的交互特征相似性分數；

步驟6：若處于跟蹤態或者丟失態的跟蹤目標匹配到候選框則將總相似性分數與匹配分數閾值比較，當總相似性分數大于匹配分數閾值則候選框轉換為跟蹤目標在當前幀圖像的跟蹤框，更新跟蹤目標的外觀特征、速度特征、交互特征信息；若處于跟蹤態或者丟失態的跟蹤目標未匹配到候選框，則通過步驟2更新跟蹤目標的狀態信息；