[發明專利]一種基于遮擋補償的立體空間信息融合的多目標跟蹤方法

有效

• 申請號: 202111452024.7
• 申請日: 2021-12-01
• 公開（公告）號: CN114119671B
• 公開（公告）日: 2022-09-09
• 發明（設計）人: 張新鈺;李駿;王力;秦聞遠;蔡凌翰;李志偉
• 申請（專利權）人: 清華大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/80;G06V10/44
• 代理公司: 北京三聚陽光知識產權代理有限公司 11250
• 代理人: 張建綱

本發明公開了一種基于遮擋補償的立體空間信息融合的多目標跟蹤方法，所述方法包括：接收激光雷達采集的點云和相機采集的RGB圖像；將點云數據輸入三維檢測器得到三維檢測結果；將RGB圖像和三維檢測結果不斷輸入預先建立和訓練好的端到端多目標跟蹤網絡，實時更新跟蹤器，循環完成目標跟蹤；所述端到端多目標跟蹤網絡，用于基于RGB圖像和三維檢測結果，并結合上一幀軌跡的運動特征和外觀特征，分別建立運動關聯矩陣和外觀關聯矩陣進行軌跡和檢測的關聯，并結合遮擋情況更新跟蹤器實現目標跟蹤。本發明的方法有效地融合了多源信息，并考慮到圖像中目標容易存在遮擋，構建了遮擋網絡進一步優化外觀特征，提高了多目標跟蹤算法的準確性。

技術領域

本發明涉及自動駕駛技術領域，提出一種基于遮擋補償的立體空間信息融合的多目標跟蹤方法。

背景技術

近些年來，無人駕駛技術領域發展迅速，在無人駕駛技術中感知技術是不可或缺的一環。無人駕駛車輛依賴激光雷達、相機、輪速里程計等傳感器對環境進行感知，如車道線檢測、三維目標檢測都屬于無人駕駛技術的基本功能。而三維多目標跟蹤是基于基本功能之上的輔助決策功能，三維多目標跟蹤算法根據檢測器所檢測到的目標的狀態來對每個目標的狀態進行預測進一步完成自動駕駛任務的決策。通過對目標的狀態進行預測，對存在的風險進行分析；達到對車輛的駕駛行為提供更為精準的控制，從而提高駕駛的安全性和舒適性。

作為自動駕駛(輔助駕駛)系統的輔助決策功能之一，三維多目標跟蹤可以認為是決策中極為重要的一環，對檢測場景的目標一一分配狀態并且隨著時間的增加一直跟蹤這個目標。多目標跟蹤算法不僅完善了檢測器的信息，還能對后續自動駕駛的決策提供了巨大的幫助。

當前，國內外均對三維多目標跟蹤技術有了一定的研究，從數據輸入角度出發，針對三維多目標跟蹤任務的數據輸入來源主要來自于相機和激光雷達這兩類傳感器。相機作為針孔模型的感光元器件，會提供類似于人眼直觀感受的圖像信息；而激光雷達作為一種主動采集式的傳感器，能夠通過發射接收激光，得到場景中目標的真實空間坐標信息。

從領域當前的研究現狀來看，這兩種傳感器都廣泛應用于三維多目標跟蹤。然而，這兩種傳感器都有著很明顯的缺陷。對于相機來說，圖像作為一種稠密的2D表現方式，通過像素位置和像素數值來表達空間信息，壓縮了Z軸的深度信息，這會導致在三維多目標跟蹤任務中難以預測物體的空間絕對位置；另外，相機鏡頭還對光線的變化十分敏感，時常會出現過曝或者過暗的情形，在這種場景下采集到的數據難以辨識，缺失有效信息；同時目標被遮擋時圖像信息的缺失導致對目標的跟蹤也造成了極大的隱患。而對于激光雷達來說，雖然可以得到目標精確的空間位置信息，但是激光雷達作為主動式傳感器，只能接受由傳感器發射的激光信號，無法接受物體通過可見光反射的信號，所以無法得到物體的顏色紋理等特征信息；再者，激光的波長十分短，這又導致激光雷達的數據對于特殊天氣十分敏感，比如在雨雪天氣下得到的激光雷達點云通常會出現很多噪點。

綜上所述，如果使用圖像作為主要的輸入信息，在遮擋等條件導致目標圖像信息缺失的時候，跟蹤系統將會出現嚴重的失靈，無法準確定位目標的位置極大影響跟蹤的準確度，此外圖像中缺乏空間距離信息也造成了多目標跟蹤的位置預測的短板。激光雷達點云雖然可以克服光照變化的問題，但點云的稀疏性和無序性也限制了其跟蹤的性能。因此，針對單純使用車載相機或激光雷達時跟蹤準確率總是存在著缺陷。一種新穎的思路是考慮結合更多的傳感器，并進行數據融合以提高對環境感知的能力。但現階段大量的實驗表明，如果只是簡單的對激光雷達獲得的點云信息和相機獲得的RGB圖像做像素級融合，不僅不會使多目標跟蹤算法的準確度提升，反而會起到負面作用，通常都會在一定程度上降低多目標跟蹤的準確度。不僅如此，這樣的計算也會極大增加計算復雜度，對整體的系統耗時產生巨大的影響。

發明內容

本發明的目的在于克服現有技術缺陷，提出了一種基于遮擋補償的立體空間信息融合的多目標跟蹤方法。

為了實現上述目的，本發明提出了一種基于遮擋補償的立體空間信息融合的多目標跟蹤方法，所述方法包括：