[發明專利]一種融合多幀時序點云的激光雷達3D實時目標檢測方法

有效

• 申請號: 202010165899.8
• 申請日: 2020-03-11
• 公開（公告）號: CN111429514B
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 葉育文;張易;項志宇
• 申請（專利權）人: 浙江大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06T7/38;G06V10/764;G06V10/766;G06V10/774;G06V10/80;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 林超

1.一種融合多幀時序點云的激光雷達3D實時目標檢測方法，其特征在于，包括如下步驟：

1)使用投影標注補全法對具有激光雷達所采集的連續幀點云的已知數據集中漏標注的目標檢測真值進行補全；

2)配準多幀時序點云，將多幀時序點云配準到當前幀點云的點云坐標系中；

3)對配準后的多幀時序點云作體素化處理，生成多幀鳥瞰圖，鳥瞰圖是由體素化處理后獲得的體素構成；

4)建立MADet網絡結構，通過MADet網絡結構實現融合多幀時序點云的目標檢測，在最終特征圖上回歸當前幀點云中所有目標的位置、尺寸和朝向；

5)將已知數據集輸入MADet網絡結構進行訓練，同時設置總損失函數對已知數據集的全部幀點云中通過MADet網絡結構回歸出的所有目標的位置、尺寸和朝向進行優化監督，獲得MADet網絡結構中所有參數的參數值；

6)將訓練完成的所有參數的參數值載入MADet網絡結構中，針對激光雷達實時采集的待測點云輸入到MADet網絡結構中，輸出獲得最終特征圖，從中提取出目標的位置、尺寸和朝向；

所述步驟4)中，MADet網絡結構包括特征提取模塊、特征描述模塊、目標檢測模塊和加權模塊；特征提取模塊和特征描述模塊依次連接，特征提取模塊和特征描述模塊的輸出經加權模塊連接輸入到目標檢測模塊；特征提取模塊是由三個連續的卷積池化模塊構成，每個卷積池化模塊均是由一層卷積層和一層最大池化層依次連接構成；將步驟3)獲得的多幀鳥瞰圖的各幀并行輸入特征提取模塊獲得8倍降采樣的多幀初始特征圖；

特征描述模塊是使用由全卷積網絡對特征提取模塊輸出的各幀初始特征圖生成特征描述，并以特征描述計算自適應權重獲得特征權重圖；

加權模塊是對特征權重圖和初始特征圖加權，然后對加權后的各幀初始特征圖進行多幀特征融合生成融合特征圖；

所述的目標檢測模塊是由一個特征金字塔和一個卷積層依次連接構成，特征金字塔是由兩個連續的卷積池化模塊、一個卷積層、兩個連續的反卷積層和一個卷積層依次連接構成，每個卷積池化模塊均是由一層卷積層和一層最大池化層依次連接構成；通過目標檢測模塊對融合特征圖利用特征金字塔融合多尺度特征生成最終特征圖；

所述的特征描述模塊和加權模塊具體處理過程為：

S1、特征描述模塊處理為：

S1.1、生成各幀初始特征圖的特征描述

僅使用共享參數的三層卷積層作為全卷積網絡，對特征提取模塊輸出的多幀初始特征圖的每個像素提取16m維的特征向量作為特征描述；m為初始卷積核個數；

S1.2、各幀初始特征圖間的相似度計算

將多幀初始特征圖各自的特征描述的余弦相似度對比，采用如下公式獲得相似度：

其中，表示第t幀初始特征圖的特征描述在像素坐標p上的特征向量，表示第t-n幀初始特征圖的特征描述在像素坐標p上的特征向量，且0≤n≤Q，n表示當前幀點云對應的前第n幀點云的序號，Q表示融合除當前幀外的總點云幀數，s^t-n(p)表示第t-n幀初始特征圖和第t幀初始特征圖在像素坐標p上的相似度；

S1.3、由各幀初始特征圖間的相似度計算特征權重圖

使用各幀初始特征圖間的相似度s^t-n(p)和自然指數e，然后進行歸一化處理，得到各幀初始特征圖上每個像素的特征權重，計算公式為：

式中，0≤j≤Q，w^t-n(p)表示第t-n幀初始特征圖在像素坐標p下的特征權重；

最后將每幀初始特征圖的所有特征權重按初始特征圖的像素坐標連接構成特征權重圖；

S2、再通過加權模塊使用下式對各幀初始特征圖加權融合，實現了加權融合各幀初始特征圖及其對應的特征權重圖生成融合特征圖：

式中，為融合特征圖，F^t-n為第t-n幀初始特征圖。