[發明專利]一種基于遮擋補償的立體空間信息融合的多目標跟蹤方法

有效

• 申請號: 202111452024.7
• 申請日: 2021-12-01
• 公開（公告）號: CN114119671B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 張新鈺;李駿;王力;秦聞遠;蔡凌翰;李志偉
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/80;G06V10/44
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張建綱

1.一種基于遮擋補償的立體空間信息融合的多目標跟蹤方法，所述方法包括：

步驟1)接收激光雷達采集的點云和相機采集的RGB圖像；

步驟2)將點云數據輸入三維檢測器得到三維檢測結果；

步驟3)將RGB圖像和三維檢測結果不斷輸入預先建立和訓練好的端到端多目標跟蹤網絡，實時更新跟蹤器，循環完成目標跟蹤；

所述端到端多目標跟蹤網絡，用于基于RGB圖像和三維檢測結果，并結合上一幀軌跡的運動特征和外觀特征，分別建立運動關聯矩陣和外觀關聯矩陣進行軌跡和檢測的關聯，并結合遮擋情況更新跟蹤器實現目標跟蹤；

所述端到端多目標跟蹤網絡的處理過程具體包括：

對RGB圖像進行圖像特征提取得到每個目標的運動特征和外觀特征，并輸入遮擋分支；

根據三維檢測結果以及運動特征和外觀特征構建跟蹤器；

對于收到的第一幀數據檢測設置為軌跡；

對于非第一幀數據檢測，結合上一幀軌跡的運動特征和外觀特征分別建立運動關聯矩陣和外觀矩陣，并進行軌跡和檢測的關聯；

根據遮擋分支計算的遮擋得分選擇最優外觀特征進而更新跟蹤器；

所述對于非第一幀數據檢測，結合上一幀軌跡的運動特征和外觀特征分別建立運動關聯矩陣和外觀矩陣，并進行軌跡和檢測的關聯；具體包括：

對于非第一幀數據檢測，基于三維卡爾曼濾波器構建一個三維空間的運動模型，以預測對應目標下一時刻的狀態，使用歐氏距離獲得運動關聯矩陣

式中，d_i(x,y,z)為當前時刻t的檢測，t_j(x,y,z)為當前時刻t現存的軌跡，L2(·)表示歐氏距離運算；

建立外觀關聯矩陣Apperance_t；

對運動關聯矩陣使用匈牙利算法進行運動匹配，得到關聯到的軌跡和檢測，對于運動匹配未成功的剩余軌跡和檢測使用外觀關聯矩陣Apperance_t進行匹配；

對于關聯成功的檢測，根據遮擋分支輸出的遮擋得分選擇最優外觀特征，從而更新跟蹤器，對于關聯不成功的軌跡則該軌跡為新的軌跡。

2.根據權利要求1所述的基于遮擋補償的立體空間信息融合的多目標跟蹤方法，其特征在于，所述步驟2)之前還包括對接收的點云和RGB圖像進行標定和對齊。

3.根據權利要求1或2所述的基于遮擋補償的立體空間信息融合的多目標跟蹤方法，其特征在于，所述步驟2)具體包括：

將點云數據輸入PointRCNN三維檢測器，進行目標在三維空間中的位置檢測，得到的三維檢測結果包括：目標的類別、二維邊界框的位置、目標中心的三維坐標系的位置、目標的長寬高、旋轉角及檢測得分。

4.根據權利要求3所述的基于遮擋補償的立體空間信息融合的多目標跟蹤方法，其特征在于，所述端到端多目標跟蹤網絡使用CenterNet作為網絡的基本骨架，并連接關聯分支和遮擋分支，由關聯分支進行軌跡和檢測的關聯，再結合遮擋分支計算的遮擋得分實時更新跟蹤器，完成跟蹤。

5.根據權利要求1所述的基于遮擋補償的立體空間信息融合的多目標跟蹤方法，所述方法還包括：使用標準的KITTI數據集對端到端多目標跟蹤網絡進行訓練的步驟。