[發(fā)明專利]一種融合多幀時序點云的激光雷達3D實時目標檢測方法

有效

• 申請?zhí)枺?/td>: 202010165899.8
• 申請日: 2020-03-11
• 公開（公告）號: CN111429514B
• 公開（公告）日: 2023-05-09
• 發(fā)明（設計）人: 葉育文;張易;項志宇
• 申請（專利權(quán)）人: 浙江大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06T7/38;G06V10/764;G06V10/766;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

本發(fā)明公開了一種融合多幀時序點云的激光雷達3D實時目標檢測方法。對較大遮擋目標標注不全的含連續(xù)幀點云的已知數(shù)據(jù)集，利用投影標注補全法補全；構(gòu)建MADet網(wǎng)絡結(jié)構(gòu)；對多幀時序點云配準和體素化生成多幀鳥瞰圖；將多幀鳥瞰圖輸入特征提取模塊生成多幀初始特征圖；對多幀初始特征圖生成對應的特征描述，計算特征權(quán)重圖并加權(quán)融合獲得融合特征圖；使用特征金字塔對融合特征圖多尺度特征融合，在最終特征圖上回歸目標的位置、尺寸和朝向。本發(fā)明能有效克服單幀點云的數(shù)據(jù)稀疏問題，在遮擋嚴重和遠距離下的目標檢測中獲得高準確率，達到比單幀檢測更高的精度，網(wǎng)絡結(jié)構(gòu)精簡，計算代價小，實時性強。

技術領域

本發(fā)明涉及目標檢測技術領域的一種激光雷達目標檢測方法，特別是涉及了一種融合多幀時序點云的激光雷達3D實時目標檢測方法。

背景技術

目標檢測是指在可感知環(huán)境中找到所有存在的物體并回歸出其尺寸和位置信息，是無人駕駛、自主機器人等復雜系統(tǒng)能安全運行的至關重要的一環(huán)。卷積神經(jīng)網(wǎng)絡在基于圖像的2D目標檢測領域中取得了很大的進步。這些深度網(wǎng)絡使用2D卷積，池化，全連接等操作，提取圖片中更高層的語義信息，更好的理解圖片內(nèi)容，相對于傳統(tǒng)方法效果顯著，迅速成為目標檢測領域的主流方法。但基于圖像的2D目標檢測缺乏深度信息，無法用于3D導航。為了給機器人提供精確的路徑規(guī)劃和運動控制，僅使用相機圖像下的2D目標檢測信息是不夠的，因此3D場景中的帶有空間信息的目標檢測更為重要。激光雷達作為常見的距離傳感器，采集的點云提供了精確的3D信息，為精確的3D目標檢測提供了基礎。

基于單幀點云的雙階段3D目標檢測方法包括使用柵格和滑動窗口提取特征的Vote3Deep，使用圖像檢測結(jié)果為指導的點云3D檢測F-PointNets，體素化后使用特征編碼網(wǎng)絡和3D卷積的VoxelNet與SECOND，融合多視角多傳感器的檢測方法MV3D和AVOD，這些雙階段方法計算量較大，在應用中難以保證實時性。基于單幀點云的單階段3D目標檢測方法包括Complex-YOLO、YOLO3D、PIXOR和PIXOR++，這些方法雖然具有較快的速度，但相比于雙階段方法，精度大大下降，其主要原因為網(wǎng)絡結(jié)構(gòu)簡單，網(wǎng)絡的擬合性能較弱，對強遮擋和遠距離點云稀疏處的目標檢測能力驟降。

點云具有較強的稀疏性，且不具有物體的紋理和顏色特征，因此較難進行對于點云稀疏或強遮擋的目標的精確檢測。而引入連續(xù)多幀的點云，則可以增加時序上的約束，改善遮擋和稀疏狀況，提高3D目標檢測的精度和魯棒性。YOLO4D在YOLO3D的基礎上使用LSTM結(jié)構(gòu)提取多幀特征，Complexer-YOLO在Complex-YOLO基礎上使用語義分割結(jié)果輔助檢測，F(xiàn)aF將多幀點云對齊后直接輸入網(wǎng)絡。以上方法需要使用分割方法或點云層對齊，引入大量額外計算需求，實時性弱且檢測精度不高。本發(fā)明使用簡單骨架、實時性強的網(wǎng)絡結(jié)構(gòu)，對配準后的多幀時序點云在初始特征圖層面進一步自適應加權(quán)對齊融合，達到高速、高精度檢測的效果。

發(fā)明內(nèi)容

為了解決背景技術中存在的問題，本發(fā)明的目的在于提供了一種融合多幀時序點云的激光雷達3D實時目標檢測方法，適用于實時采集實時處理的高效檢測系統(tǒng)。

本發(fā)明能有效克服單幀點云的數(shù)據(jù)稀疏問題，在遮擋嚴重和遠距離下的目標檢測中獲得高準確率，達到比單幀點云檢測更高的精度。使用的網(wǎng)絡結(jié)構(gòu)精簡，計算代價小，實時性強。

本發(fā)明采用的技術方案的步驟如下：

1)使用投影標注補全法對具有激光雷達所采集的連續(xù)幀點云的已知數(shù)據(jù)集中漏標注的目標檢測真值進行補全；

已知數(shù)據(jù)集是由多個不同場景的序列構(gòu)成，每個序列是由連續(xù)幀點云和對應的目標檢測真值構(gòu)成，目標檢測真值是指點云所包含目標的標注的集合。連續(xù)幀點云是指利用同一激光雷達連續(xù)采集的點云序列；

2)配準多幀時序點云，將多幀時序點云配準到當前幀點云的點云坐標系中；

時序點云是指隨著時間推移而依次利用同一激光雷達采集的一系列不同幀的點云。