[發明專利]一種融合毫米波雷達和激光雷達的3D目標檢測與追蹤方法

在審

• 申請號: 202211078285.1
• 申請日: 2022-09-05
• 公開（公告）號: CN115327529A
• 公開（公告）日: 2022-11-11
• 發明（設計）人: 李垚;張燕詠;吉建民
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G01S13/72
• 分類號: G01S13/72;G01S17/66;G01S13/931;G01S13/89;G01S13/86;G01S17/86;G01S17/931
• 代理公司: 北京科迪生專利代理有限責任公司 11251
• 代理人: 安麗

1.一種融合毫米波雷達和激光雷達的3D目標檢測與追蹤方法，其特征在于，包括以下步驟：

步驟1：對采集的激光雷達和毫米波雷達的數據進行預處理,激光雷達的數據采用基于體素的網絡進行編碼處理，毫米波雷達數據采用柱狀網絡進行編碼處理，得到基于鳥瞰圖形式的激光雷達特征和毫米波雷達特征；

步驟2：將鳥瞰圖形式的激光雷達特征和毫米波雷達特征直接進行拼接，實現基于鳥瞰圖視角的檢測層次融合，獲取融合的特征后進行檢測識別任務，得到目標的3D位置識別框和類別信息；

步驟3：基于檢測的識別框對原始的毫米波雷達點進行過濾，獲取屬于該框內的毫米波雷達點，再對檢測框內雷達點和追蹤框求取P2B距離，即毫米波雷達點到追蹤框各邊之間的平均最短距離，采用新穎的注意力機制加權后得到由毫米波雷達點計算所得的位置相似性親和矩陣；同時根據檢測任務預測的速度求取檢測框和追蹤框間的位置偏移量，得到另一種位置偏移量親和矩陣；

步驟4：將所述兩種親和矩陣加權后得到最終的親和矩陣，以此進行目標追蹤，最終實現兼顧精度和魯棒性的3D目標檢測與追蹤。

2.根據權利要求1所述的融合毫米波雷達和激光雷達的3D目標檢測與追蹤方法，其特征在于：所述步驟1中，對于激光雷達，其采集包含高度信息的三維位置表示的激光雷達點云數據，在3D空間中采用基于體素的處理流程，即依次進行體素化、體素特征提取和變換至鳥瞰圖形式，得到基于鳥瞰圖形式的激光雷達特征；對于毫米波雷達其可以直接提供鳥瞰圖下的位置、雷達橫截面積RCS和徑向速度的測量，所以采用柱狀網絡進行編碼和特征提取，得到鳥瞰圖形式的毫米波雷達特征。

3.根據權利要求1所述的融合毫米波雷達和激光雷達的3D目標檢測與追蹤方法，其特征在于：所述步驟2具體實現如下：

(1)將基于鳥瞰圖形式的激光雷達特征和毫米波雷達特征直接進行拼接，其中拼接過程中使用殘差網絡結構，將激光雷達特征和毫米波雷達特征拼接前的鳥瞰圖(BEV)特征和拼接后經由幾層卷積網絡處理后的融合BEV特征進行再次拼接得到最終的融合特征，實現基于鳥瞰圖視角下檢測層次的特征融合過程；

(2)基于融合特征采用多任務學習的方式即分別為每個任務搭建不同的網絡分支進行檢測任務，分別進行目標的3D位置、大小、偏航角以及速度的回歸和目標分類任務，將步驟(1)中得到的融合特征分別輸入到后端多分支網絡中進行處理，不同任務之間并行進行，最終輸出物體的3D位置，物體大小，分類分數，以及速度和偏航角的回歸值，即3D位置識別框和類別信息。

4.根據權利要求1所述的融合毫米波雷達和激光雷達的3D目標檢測與追蹤方法，其特征在于：所述步驟3具體實現如下；

(1)基于檢測的識別框對原始的毫米波雷達點云進行過濾，得到位置在該框范圍內的毫米波雷達點；

(2)對檢測框內雷達點和追蹤框求取所定義的P2B距離即點到四邊形各邊的平均最短距離，計算時將點和各邊構建成三角形，選擇三角形任意的兩條邊作為兩條向量求取向量積運算除以2后，得到三角形的面積，然后計算底邊的高求得對應點到邊的最短距離；毫米波雷達受多徑效應的影響，其位置測量存在噪聲，引入新穎的注意力機制加權：即根據每個雷達點自身的特征結合其檢測框的特征經多層感知機MLP預測相應的注意力分數，作為對該毫米波雷達測量偏差的估計，測量偏差越大的點所估計的注意力分數越低，對最終的親和矩陣的計算貢獻越小，最后使用該注意力分數對不同的毫米波雷達點求得的P2B距離進行加權求和后，得到最終的基于位置相似性的親和矩陣；

(3)同時基于檢測任務中的多頭網絡預測的速度求取檢測框和追蹤框間的鳥瞰圖下的位置偏移量，得到另一種位置偏移量親和矩陣，即由位置偏移量組成的親和矩陣，該親和矩陣根據網絡所預測的速度進行計算。

5.根據權利要求1所述的融合毫米波雷達和激光雷達的3D目標檢測與追蹤方法，其特征在于：所述步驟4具體實現如下；

(1)根據步驟3中由毫米波雷達點所預測的注意力分數，對計算所得的兩種親和矩陣進行加權求和，得到最終的親和矩陣；

(2)基于步驟(1)的親和矩陣進行目標追蹤，目標追蹤過程包括數據關聯和軌跡管理；數據關聯采用貪婪匹配算法根據親和矩陣匹配同一物體的檢測框和追蹤框，實現跨幀的物體關聯；軌跡管理對于某一物體其檢測框連續出現3次才會分配跟蹤軌跡，對于已分配追蹤軌跡的物體，如果所述軌跡一直在設定的視場范圍內，則對物體作持續追蹤；最終實現兼顧精度和魯棒性的3D目標檢測與追蹤。