[發明專利]一種基于相機和激光雷達融合的3D實時多目標跟蹤方法

在審

• 申請號: 202111553630.8
• 申請日: 2021-12-17
• 公開（公告）號: CN114332158A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 王西洋;傅春耘;賴穎;李占坤;何嘉偉
• 申請（專利權）人: 重慶大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T5/50;G06V10/75
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

本發明涉及一種基于相機和激光雷達融合的3D實時多目標跟蹤方法，屬于環境感知領域，包括以下步驟：S1：得到每一時刻目標物體的二維信息和三維信息；S2：融合得到同時由激光雷達和相機兩種傳感器都檢測到的目標物體、僅由激光雷達檢測到的目標物體、僅由相機檢測到的目標物體；S3：將同時由兩種傳感器檢測得到的目標物體與三維軌跡進行匹配；S4：將僅由激光雷達檢測到的目標物體與剩余未匹配上的三維軌跡進行匹配；S5：將僅由相機檢測到的目標物體二維軌跡進行匹配；S6：將三維軌跡與二維軌跡進行匹配；S7：對軌跡進行管理。

技術領域

本發明屬于環境感知領域，涉及一種基于相機和激光雷達融合的3D實時多目標跟蹤方法。

背景技術

目前主流的多目標跟蹤方法都是基于tracking-by-detection，其過程分為兩步：1)目標檢測；2)數據關聯。隨著目標檢測的精度越來越高，跟蹤的準確度也相應的在提高，而對于多目標跟蹤最為重要的數據關聯階段，仍然存在較多困難，如何克服因檢測不準確和遮擋而導致的漏跟、誤跟依舊是挑戰。現有的多目標跟蹤方法主要分為基于相機的目標跟蹤和基于激光雷達的目標跟蹤。

基于相機的方法利用RGB圖像上目標對象的信息來完成物體相似性關聯的任務，通常有外觀信息、運動信息等。基于相機的多目標跟蹤方法通常是2D的，即在圖像平面上跟蹤，但也有采用雙目相機提取深度做3D跟蹤。主流的方式是利用目標檢測算法提取目標信息，然后通過卡爾曼濾波進行預測，接著計算前后兩幀各物體之間的代價矩陣，如：交并比、歐式距離、馬氏距離等，最后使用匈牙利算法或貪婪算法進行匹配關聯。后來有學者提出了一個單階段的跟蹤框架(Jointly learns the Detector and Embedding model)，認為檢測和跟蹤可以同時進行，提出了將目標檢測和外觀嵌入共享結構學習的跟蹤模型，這樣既有助于防止因為漏檢而出現誤跟的現象，又能解決漏跟問題，取得了較好的結果。

基于激光雷達的方法通常具有深度信息，因而有利于做3D跟蹤。由于深度學習的方法在處理激光雷達點云數據過程取得了重大突破，因此基于激光雷達的3D跟蹤開始逐漸受到歡迎。使用激光雷達點云數據進行跟蹤缺乏如視覺的像素信息，盡管近年來針對點云特征的提取得到發展，但總體上基于點云的外觀特征不如基于視覺的外觀特征準確。

發明內容

有鑒于此，本發明的目的在于提供一種基于相機和激光雷達融合的3D實時多目標跟蹤方法

為達到上述目的，本發明提供如下技術方案：

本發明一種基于相機和激光雷達融合的3D實時多目標跟蹤方法，包括以下步驟：

一種基于相機和激光雷達融合的3D實時多目標跟蹤方法，包括以下步驟：

S1：使用基于相機的2D檢測器得到每一時刻目標物體的二維信息，使用基于激光雷達的3D檢測器得到每一時刻目標物體的三維信息；

S2：將由基于激光雷達檢測得到目標物體的三維信息通過坐標系轉換投影到圖像平面上，并與基于相機檢測得到的目標物體進行融合，得到同時由兩種傳感器都檢測到的目標物體、僅由激光雷達檢測到的目標物體、僅由相機檢測到的目標物體；

S3：將t時刻同時由兩種傳感器檢測得到的目標物體與t-1時刻的三維軌跡通過卡爾曼濾波預測得到t時刻的三維軌跡進行匹配，得到匹配成功的軌跡和未匹配成功的軌跡；

S4：將僅由激光雷達檢測到的目標物體與剩余未匹配上的三維軌跡進行匹配；

S5：將t時刻僅由相機檢測到的目標物體與t-1時刻二維軌跡通過卡爾曼濾波預測得到t時刻的二維軌跡進行匹配；

S6：將t時刻三維軌跡通過坐標系變換投影到圖像平面與相應的二維軌跡進行匹配；