[發明專利]一種基于相機和激光雷達融合的3D實時多目標跟蹤方法

在審

• 申請號: 202111553630.8
• 申請日: 2021-12-17
• 公開（公告）號: CN114332158A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 王西洋;傅春耘;賴穎;李占坤;何嘉偉
• 申請（專利權）人: 重慶大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/277;G06T5/50;G06V10/75
• 代理公司: 北京同恒源知識產權代理有限公司 11275
• 代理人: 楊柳岸

1.一種基于相機和激光雷達融合的3D實時多目標跟蹤方法，其特征在于：包括以下步驟：

S1：使用基于相機的2D檢測器得到每一時刻目標物體的二維信息，使用基于激光雷達的3D檢測器得到每一時刻目標物體的三維信息；

S2：將由基于激光雷達檢測得到目標物體的三維信息通過坐標系轉換投影到圖像平面上，并與基于相機檢測得到的目標物體進行融合，得到同時由兩種傳感器都檢測到的目標物體、僅由激光雷達檢測到的目標物體、僅由相機檢測到的目標物體；

S3：將t時刻同時由兩種傳感器檢測得到的目標物體與t-1時刻的三維軌跡通過卡爾曼濾波預測得到t時刻的三維軌跡進行匹配，得到匹配成功的軌跡和未匹配成功的軌跡；

S4：將僅由激光雷達檢測到的目標物體與剩余未匹配上的三維軌跡進行匹配；

S5：將t時刻僅由相機檢測到的目標物體與t-1時刻二維軌跡通過卡爾曼濾波預測得到t時刻的二維軌跡進行匹配；

S6：將t時刻三維軌跡通過坐標系變換投影到圖像平面與相應的二維軌跡進行匹配；

S7：對未匹配上的同時由兩種傳感器檢測到的目標初始化為新的確認軌跡，對未匹配上的由激光雷達檢測得到的目標物體初始化為待確認的三維軌跡，若接下來連續三幀都匹配上則轉為確認軌跡；對未匹配上的僅僅由相機檢測得到的目標物體初始化為待確認的二維軌跡，若接下來連續三幀都匹配上則轉為確認軌跡；對未匹配上的二維和三維軌跡保留6幀。

2.根據權利要求1所述的基于相機和激光雷達融合的3D實時多目標跟蹤方法，其特征在于：步驟S1中所述3D檢測器得到目標物體的信息使用三維bounding box＝(x,y,z,w,h,l,θ)表示，其中(x,y,z)為三維檢測框中心點在激光雷達坐標系下的坐標，(w,h,l)為三維檢測框的寬、高、長，θ為朝向角(the heading angle)，使用所述2D檢測器檢測到的目標物體用二維bounding box＝＝(x_c,y_c,w,h)表示，其中(x_c,y_c)為目標檢測框中心點在像素坐標系下的坐標，(w,h)分別為檢測框的寬和高。

3.根據權利要求1所述的基于相機和激光雷達融合的3D實時多目標跟蹤方法，其特征在于：步驟S2具體包括以下步驟：

S21：將三維的bounding box通過坐標系轉換投影到圖像平面上得到二維的boundingbox，

然后與基于相機檢測到的目標物體的bounding box計算交并比，其交并比計算方式為：

其中b_{3d_2d}表示三維轉換到二維的bounding box，b_2d表示為基于相機檢測到的目標物體的二維bounding box；

S22：將計算得到的交并比d^2diou與閾值σ₁比較，若d^2diou≥σ₁，則認為此目標既通過激光雷達檢測到了，也通過相機檢測到了，表示為若d^2diouσ₁，則認為其分別是通過兩種傳感器單獨檢測到的目標物體，單獨使用相機檢測的物體表示為單獨使用激光雷達檢測的物體表示為