[發明專利]一種基于傳感器融合的目標檢測及追蹤方法

在審

• 申請號: 202210330797.6
• 申請日: 2022-03-30
• 公開（公告）號: CN114926808A
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 李超群;曲婷;王錦坤;李鑫;高炳釗
• 申請（專利權）人: 吉林大學
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06T7/277;G06V10/80;G06V10/74;G06T7/80
• 代理公司: 北京慕達星云知識產權代理事務所(特殊普通合伙) 11465
• 代理人: 符繼超

本發明公開了一種基于傳感器融合的目標檢測及追蹤方法，包括：通過車載傳感設備獲取周圍目標物的狀態信息，分別對圖像數據和點云數據進行目標檢測；對所述車載傳感設備所包括的激光雷達和攝像頭進行外參數標定；采用匈牙利算法對所述激光雷達和攝像頭各自采集的數據進行目標匹配；使用卡爾曼濾波算法對完成數據匹配的目標進行追蹤，得到周圍多目標的運動軌跡。該方法通過激光雷達和攝像頭融合豐富了目標物信息，解決了單一傳感器檢測目標信息不夠充足的問題；通過實施追蹤技術解決漏檢、遮擋問題，且便于多目標分析；整套方案檢測精度較高，實時性好。

技術領域

本發明屬于無人駕駛車輛環境感知領域以及傳感器技術領域，特別涉及一種基于傳感器融合的目標檢測及追蹤方法。

背景技術

在智能駕駛快速發展的今天，各種傳感器被安裝在汽車上，以提供對周圍環境的準確、實時的感知。其中最常見的就是攝像頭，由于單一傳感器均存在著一定劣勢，比如單一的攝像頭無法獲得目標準確的深度信息、受光照影響大；而雷達在獲取深度信息方面有著巨大優勢，但在目標分類能力上，與視覺又有巨大差距，多傳感器融合方法得到了國內外學者的關注。智能駕駛某些感知檢測網絡雖精度高，但是實時性差且不易在嵌入式設備上部署，并且缺少對多目標環境下對全局目標分別追蹤、航跡管理的問題的解決。

因此，針對無人駕駛車輛環境感知，如何實現攝像頭與雷達采集數據的準確匹配，且實時性高，成為本領域同行從業人員研究的熱點。

發明內容

本發明的主要目的在于提供一種至少部分解決上述技術問題的基于傳感器融合的目標檢測及追蹤方法，該方法在滿足實時性要求的同時精度可以得到保障；且該方法基于步驟設置緊湊合理，有良好的可驗證性以及實用性，該算法處理用時較短，可以為后續決策、規劃等模塊預留充足的時間。

為實現上述目的，本發明采取的技術方案為：

一種基于傳感器融合的目標檢測及追蹤方法，包括：

通過車載傳感設備獲取周圍目標物的狀態信息，分別對圖像數據和點云數據進行目標檢測；

對所述車載傳感設備所包括的激光雷達和攝像頭進行外參數標定；

采用匈牙利算法對所述激光雷達和攝像頭各自采集的數據進行目標匹配；

使用卡爾曼濾波算法對完成數據匹配的目標進行追蹤，得到周圍多目標的運動軌跡。

進一步地，分別對圖像數據和點云數據進行目標檢測，包括：

使用Yolov3算法對圖像數據進行目標檢測，輸出圖像中多目標的位置、目標類別和置信度信息；

使用長方體切割RANSAC算法去地面Kdtree加速的歐式聚類算法，對點云數據進行目標檢測。

進一步地，使用長方體切割RANSAC算法去地面Kdtree加速的歐式聚類算法，對點云數據進行目標檢測，包括：

使用PCL庫函數通過設定長方體的邊界頂點值，濾除掉長方體區域以外的點云數據，獲得有效點云數據；

采用RANSAC算法在所述有效點云數據中擬合大平面，分離出地面點；

采用Kdtree對分離出地面點后的點云數據進行搜索，并采用歐式聚類算法實現對點云數據中的目標檢測。

進一步地，對所述車載傳感設備所包括的激光雷達和攝像頭進行外參數標定，包括：

選用改進的lidar_camera_calibration算法，添加初始化模塊、自動提取點云角點模塊，實現對激光雷達和攝像頭進行外參數標定。

進一步地，采用匈牙利算法對所述激光雷達和攝像頭各自采集的數據進行目標匹配，包括：