[發明專利]一種基于點云跨視圖特征轉換的實時三維目標檢測方法

在審

• 申請號: 202210080792.2
• 申請日: 2022-01-24
• 公開（公告）號: CN114511846A
• 公開（公告）日: 2022-05-17
• 發明（設計）人: 項志宇;顧佳琦
• 申請（專利權）人: 浙江大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種基于點云跨視圖特征轉換的實時三維目標檢測方法，其特征在于，包括以下步驟：

1)通過激光雷達采集場景的三維點云，對三維點云進行環視投影獲得對應的二維環視圖；

2)建立神經網絡結構，利用已知數據集及對應的二維環視圖對神經網絡結構進行訓練，設置總損失函數對神經網絡結構進行監督，獲得訓練好的神經網絡結構；

3)將待測場景的三維點云和對應的二維環視圖輸入到訓練好的神經網絡結構，輸出神經網絡結構的回歸殘差和當前待測場景的分類圖，基于當前待測場景的分類圖和回歸殘差進行預測三維框的計算，獲得最后的預測三維框。

2.根據權利要求1所述的一種基于點云跨視圖特征轉換的實時三維目標檢測方法，其特征在于，所述步驟1)中，建立以俯仰角和朝向角為坐標軸的二維環視圖，計算三維點云中各個點與激光雷達坐標系原點的俯仰角和朝向角投影至以俯仰角和朝向角為坐標軸的二維環視圖中，獲得對應的二維環視圖。

3.根據權利要求2所述的一種基于點云跨視圖特征轉換的實時三維目標檢測方法，其特征在于，所述步驟2)中，神經網絡結構包括點-環視特征提取模塊、分層體素柱模塊和稀疏檢測頭模塊；神經網絡結構的輸入輸入到點-環視特征提取模塊中，點-環視特征提取模塊經分層體素柱模塊后與稀疏檢測頭模塊相連，稀疏檢測頭模塊的輸出作為神經網絡結構的輸出。

4.根據權利要求3所述的一種基于點云跨視圖特征轉換的實時三維目標檢測方法，其特征在于，所述點-環視特征提取模塊包括環視圖分支、點分支和三個點-環視特征融合塊，環視圖分支通過三個點-環視特征融合塊與點分支相連；環視圖分支包括六個編碼模塊和四個解碼模塊，點分支包括3個1D卷積層；

三維點云輸入到第一1D卷積層，二維環視圖輸入到第一編碼模塊，第一1D卷積層輸出的第一點云特征P1和第一編碼模塊輸出的第一環視圖特征E1均輸入到第一點-環視特征融合塊中，第一點-環視特征融合塊分別輸出更新后的第一點云特征和第一環視圖特征，更新后的第一點云特征輸入到第二1D卷積層中，更新后的第一環視圖特征輸入到第二編碼模塊，第二編碼模塊依次經第三編碼模塊、第四編碼模塊和第五編碼模塊后與第六編碼模塊相連，第二1D卷積層輸出的第二點云特征P2和第六編碼模塊輸出的第六環視圖特征E6均輸入到第二點-環視特征融合塊中，第二點-環視特征融合塊分別輸出更新后的第二點云特征和第六環視圖特征，更新后的第二點云特征輸入到第三1D卷積層中，更新后的第六環視圖特征輸入到第一解碼模塊，第一解碼模塊依次經第二解碼模塊和第三解碼模塊后與第四解碼模塊相連，第三1D卷積層輸出的第三點云特征P3和第四解碼模塊輸出的第十環視圖特征D4均輸入到第三點-環視特征融合塊中，第三點-環視特征融合塊分別輸出更新后的第三點云特征和第十環視圖特征，將更新后的第三點云特征記為3D特征點云并作為點-環視特征提取模塊的輸出；

所述點-環視特征融合塊中首先根據點云特征對應的二維環視圖，利用雙線性插值方法對點云特征各個點進行采樣，獲得點的2D特征，將輸入的環視圖特征作為點的3D特征，將點的2D特征和點的3D特征進行級聯后輸入到依次相連的3個1D卷積層中，最后一個1D卷積層的輸出作為更新后的點云特征，將最后一個1D卷積層的輸出進行環形反投影后獲得更新后的環視圖特征。

5.根據權利要求4所述的一種基于點云跨視圖特征轉換的實時三維目標檢測方法，其特征在于，每個編碼模塊由一個致密殘差塊和若干個卷積層依次相連構成，每個編碼模塊的輸入輸入到當前致密殘差塊中，最后一個卷積層的輸出作為當前編碼模塊的輸出，解碼模塊由一個致密殘差塊和若干個反卷積層依次相連構成，每個解碼模塊的輸入輸入到當前致密殘差塊中，最后一個反卷積層的輸出作為當前解碼模塊的輸出。

6.根據權利要求2所述的一種基于點云跨視圖特征轉換的實時三維目標檢測方法，其特征在于，所述分層體素柱模塊中首先對點-環視特征提取模塊輸入的3D特征點云進行體素化處理，獲得三維點云網格特征；

接著將三維點云網格特征依次輸入1D和2D卷積層中依次進行高度維提取特征和長寬維提取特征以及通道重整后，獲得鳥瞰圖特征并輸出。