[發(fā)明專利]一種融合毫米波雷達(dá)和激光雷達(dá)的3D目標(biāo)檢測與追蹤方法

在審

• 申請?zhí)枺?/td>: 202211078285.1
• 申請日: 2022-09-05
• 公開（公告）號: CN115327529A
• 公開（公告）日: 2022-11-11
• 發(fā)明（設(shè)計）人: 李垚;張燕詠;吉建民
• 申請（專利權(quán)）人: 中國科學(xué)技術(shù)大學(xué)
• 主分類號: G01S13/72
• 分類號: G01S13/72;G01S17/66;G01S13/931;G01S13/89;G01S13/86;G01S17/86;G01S17/931
• 代理公司: 北京科迪生專利代理有限責(zé)任公司 11251
• 代理人: 安麗

本發(fā)明涉及一種融合毫米波雷達(dá)和激光雷達(dá)的3D目標(biāo)檢測與追蹤方法，對采集的激光雷達(dá)和毫米波雷達(dá)數(shù)據(jù)預(yù)處理；將鳥瞰圖形式的激光雷達(dá)特征和毫米波雷達(dá)特征直接進行拼接，獲取融合的特征后進行檢測識別任務(wù)，得到目標(biāo)的3D位置識別框和類別信息；基于檢測的識別框?qū)υ嫉暮撩撞ɡ走_(dá)點進行過濾，獲取屬于該框內(nèi)的毫米波雷達(dá)點，再對檢測框內(nèi)雷達(dá)點和追蹤框求取P2B距離，采用注意力機制加權(quán)后得到由毫米波雷達(dá)點計算位置相似性親和矩陣；根據(jù)檢測任務(wù)預(yù)測的速度求取檢測框和追蹤框間的位置偏移量，得到另一種位置偏移量親和矩陣；將兩種親和矩陣加權(quán)后得到最終的親和矩陣，以此進行目標(biāo)追蹤，最終實現(xiàn)兼顧精度和魯棒性的3D目標(biāo)檢測與追蹤。

技術(shù)領(lǐng)域

本發(fā)明涉及一種融合毫米波雷達(dá)和激光雷達(dá)的3D目標(biāo)檢測與追蹤方法，屬于目標(biāo)檢測與追蹤和自動駕駛領(lǐng)域。

背景技術(shù)

當(dāng)前，基于激光雷達(dá)的3D檢測與追蹤方法大多遵循“tracking by detection”的范式，即先進行檢測任務(wù)，后進行逐幀的追蹤，追蹤過程的核心是數(shù)據(jù)關(guān)聯(lián)，即將跨幀的同一物體分配唯一的標(biāo)號。數(shù)據(jù)關(guān)聯(lián)問題常被視為二分圖匹配問題，使用匈牙利算法或貪婪匹配算法進行求解。但是這樣的范式對檢測的依賴非常嚴(yán)重，檢測結(jié)果的好壞直接決定了追蹤的性能。激光雷達(dá)憑借高精度的3D位置和高分辨率的角度測量優(yōu)勢而成為自動駕駛中重要的傳感器之一，許多基于激光雷達(dá)的3D檢測工作應(yīng)運而生。但激光雷達(dá)也有缺點存在，比如它的探測范圍有限，遠(yuǎn)處的地方點云通常很稀疏；易受雨霧等不利天氣的干擾；并且激光雷達(dá)只提供了靜態(tài)的位置測量信息，沒有提供動態(tài)信息(如速度等) 的測量，所以只依賴激光雷達(dá)進行檢測和追蹤任務(wù)會有一定的性能上限。相較于激光雷達(dá)，毫米波雷達(dá)具有更遠(yuǎn)的探測范圍，并且基于多普勒效應(yīng)對物體的徑向速度進行了測量，同時其受雨霧等不利天氣的干擾較小，成本較低，對基于激光雷達(dá)的感知追蹤系統(tǒng)具有重要意義。但由于毫米波雷達(dá)的精度和分辨率較低，聚類后的目標(biāo)點十分稀疏，并且受多徑效應(yīng)的影響，其測量的數(shù)據(jù)常存在噪聲干擾，如何有效地融合毫米波雷達(dá)數(shù)據(jù)具有很大的挑戰(zhàn)。當(dāng)前基于融合激光雷達(dá)和毫米波雷達(dá)的工作仍然較少，Radarnet[6Yang B,Guo R,Liang M,et al.Radarnet:Exploiting radar for robust perception of dynamic objects[C]//EuropeanConference on Computer Vision.Springer,Cham,2020:496-512.]是其中較為典型的工作，該模型對毫米波雷達(dá)和激光雷達(dá)數(shù)據(jù)均進行了體素特征提取后拼接融合，之后只對動態(tài)物體進行檢測，同時利用毫米波雷達(dá)點的速度對動態(tài)物體的速度進行更新。

但現(xiàn)階段同時融合激光雷達(dá)和毫米波雷達(dá)做追蹤的工作仍很少，大部分模型的精度比較受限于單一模態(tài)的缺陷。

發(fā)明內(nèi)容

本發(fā)明技術(shù)解決問題：克服現(xiàn)有技術(shù)的不足，提供一種融合激光雷達(dá)和毫米波雷達(dá)的目標(biāo)檢測與追蹤方法，提升檢測與追蹤的準(zhǔn)確性和魯棒性。同時使用了柱狀網(wǎng)絡(luò)處理，更充分地利用了毫米波雷達(dá)的特征，并且拓寬了其應(yīng)用范圍至兼有動態(tài)與靜態(tài)目標(biāo)的檢測和追蹤領(lǐng)域。

本發(fā)明技術(shù)解決方案：一種融合激光雷達(dá)和毫米波雷達(dá)的目標(biāo)檢測與追蹤方法，包括以下步驟：

步驟1：對采集的激光雷達(dá)和毫米波雷達(dá)的數(shù)據(jù)進行預(yù)處理，激光雷達(dá)的數(shù)據(jù)采用基于體素的網(wǎng)絡(luò)進行編碼處理，毫米波雷達(dá)數(shù)據(jù)采用柱狀網(wǎng)絡(luò)進行編碼處理，得到基于鳥瞰圖形式的激光雷達(dá)特征和毫米波雷達(dá)特征；

步驟2：將鳥瞰圖形式的激光雷達(dá)特征和毫米波雷達(dá)特征直接進行拼接，實現(xiàn)基于鳥瞰圖視角的檢測層次融合，獲取融合的特征后進行檢測識別任務(wù)，得到目標(biāo)的3D位置識別框和類別信息；

步驟3：基于檢測的識別框?qū)υ嫉暮撩撞ɡ走_(dá)點進行過濾，獲取屬于該框內(nèi)的毫米波雷達(dá)點，再對檢測框內(nèi)雷達(dá)點和追蹤框求取P2B距離，即毫米波雷達(dá)點到追蹤框各邊之間的平均最短距離，采用新穎的注意力機制加權(quán)后得到由毫米波雷達(dá)點計算所得的基于位置相似性的親和矩陣；同時根據(jù)檢測任務(wù)預(yù)測的速度求取檢測框和追蹤框間的位置偏移量，得到另一種位置偏移量親和矩陣；