[發明專利]基于自適應與多級特征降維的點云3D檢測方法與模型

在審

• 申請號: 202211452093.2
• 申請日: 2022-11-21
• 公開（公告）號: CN115760983A
• 公開（公告）日: 2023-03-07
• 發明（設計）人: 李志恒;黃迪和
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V20/56;G06V20/64;G06V20/70;G06V10/77;G06V10/80;G06V10/82
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 徐羅艷

本發明公開了基于自適應與多級特征降維的點云3D檢測方法與模型，該檢測方法包括：獲取實時點云數據幀并進行點云體素化，得到初始體素特征及其體素坐標；對所述初始體素特征進行稀疏化，得到稀疏體素特征；對所述稀疏體素特征進行自適應動態特征降維，得到初始BEV特征，并對所述初始BEV特征進行多尺度BEV特征提取，獲得包含語義特征的多尺度BEV特征；對所述稀疏體素特征進行多尺度體素特征提取，獲得包含幾何特征的多尺度體素特征，并對每個尺度上的體素特征進行降維，然后與對應尺度上的BEV特征進行融合；利用最后一層融合的BEV特征進行3D檢測，估計目標物體在BEV空間的位置。

技術領域

本發明涉及自動駕駛物體感知領域，具體涉及一種基于自適應與多級特征降維的點云3D檢測方法與模型。

背景技術

自動駕駛汽車是一種依靠車載傳感器對環境進行感知并進行決策控制的復雜無人系統。為實現自動駕駛的決策與控制，需要首先使用傳感器(通常包括激光雷達與相機)對周圍環境進行感知，并對傳感器數據進行處理得到周圍環境的物體3D語義信息，再基于這些信息進行決策與控制。

基于激光雷達的3D物體檢測是解決自動駕駛對環境感知問題的一種關鍵技術，其利用實時獲取的點云數據幀，通過神經網絡進行編解碼得到物體的3D語義信息。為了實現高效性，目前在自動駕駛領域普遍使用基于grid-based的點云3D目標檢測算法，其可以細分為pillar-based和voxel-based。這兩種方法都需要將3D稀疏結構的點云通過降維操作得到2D形式的BEV(bird’s eye view，鳥瞰視角)特征圖，再在2D的BEV特征圖上進行3D目標檢測。但目前的算法使用固定卷積核或池化操作來進行3D到2D的特征降維，沒有考慮到這些特征降維操作會丟失許多3D幾何信息。為了提高點云3D目標檢測算法的精確率和召回率，亟待改進現有的特征降維操作以及特征提取骨干網絡的結構來保留更多的3D幾何信息。

發明內容

為了解決現有點云3D檢測技術中BEV特征嚴重丟失物體幾何信息的問題，本發明提出了基于自適應與多級特征降維的點云3D檢測方法與模型，以使得特征提取過程中BEV特征能夠自適應的保留物體的3D幾何信息和多尺度幾何信息。

為解決上述問題，本發明的一方面提出以下技術方案：

一種基于自適應與多級特征降維的點云3D檢測方法，包括：獲取實時點云數據幀并進行點云體素化，得到初始體素特征及其體素坐標；對所述初始體素特征進行稀疏化，得到稀疏體素特征；對所述稀疏體素特征進行自適應動態特征降維，得到初始BEV特征，并對所述初始BEV特征進行多尺度BEV特征提取，獲得包含語義特征的多尺度BEV特征；對所述稀疏體素特征進行多尺度體素特征提取，獲得包含幾何特征的多尺度體素特征，并對每個尺度上的體素特征進行降維，然后與對應尺度上的BEV特征進行融合；利用最后一層融合的BEV特征進行3D檢測，估計目標物體在BEV空間的位置。

進一步地，對所述稀疏體素特征進行自適應動態特征降維的步驟包括：對所述稀疏體素特征沿高度維度估計特征空間分布，該估計的特征空間分布用于表征沿高度維度物體特征的重要性權重；根據所述估計的特征空間分布對沿高度維度物體特征進行重加權，得到所述初始BEV特征。

進一步地，對所述稀疏體素特征沿高度維度估計特征空間分布的步驟包括：通過卷積核大小為3×3×3的3D子流型稀疏卷積估計體素特征重要性權重，其通道數為1；對所述體素特征重要性沿著高度維度進行歸一化得到所述估計的特征空間分布。

進一步地，根據所述估計的特征空間分布對沿高度維度物體特征進行重加權的步驟包括：使用所述估計的特征空間分布對所述稀疏體素特征沿高度維度進行動態加權，得到所述初始BEV特征。

進一步地，對所述稀疏體素特征進行多尺度體素特征提取的步驟包括：構造用于提取幾何特征的體素特征提取分支，將所述稀疏體素特征作為該體素特征提取分支的初始輸入，進行多階段體素特征提取，對應獲得所述多尺度體素特征；其中，每階段體素特征提取的輸出結果作為下一階段體素特征提取的輸入。