[發明專利]一種基于pointpillars的多平面編碼點云特征深度學習模型的構建方法

有效

• 申請號: 202010425656.3
• 申請日: 2020-05-19
• 公開（公告）號: CN111612059B
• 公開（公告）日: 2022-10-21
• 發明（設計）人: 周洋;呂精靈;李小毛;彭艷;蒲華燕;謝少榮;羅均
• 申請（專利權）人: 上海大學
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 鄭州翊博專利代理事務所(普通合伙) 41155
• 代理人: 付紅莉;周玉青

1.一種基于pointpillars的多平面編碼點云特征深度學習模型的構建方法，其特征在于，所述構建方法為：獲取訓練樣本，所述訓練樣本包括包含檢測目標的點云數據和與點云數據對應的標注信息，標注信息用于指示點云數據中檢測目標的邊界框坐標和邊界框坐標中檢測目標的分類標簽；采用訓練樣本對多平面編碼點云特征深度學習模型進行訓練，使得將訓練樣本中的點云數據輸入訓練后的多平面編碼點云特征深度學習模型得到的識別結果為點云數據中檢測目標的位置邊界框坐標及邊界框坐標中目標的存在概率；

所述多平面編碼點云特征深度學習模型是基于pointpillars算法的改進，具體改進之處為：采用多平面融合特征編碼網絡代替pointpillars算法中的特征編碼器網絡；所述多平面編碼點云特征深度學習模型由多平面融合特征編碼網絡、Backbone網絡和DetectionHead網絡組成；

采用訓練樣本對多平面編碼點云特征深度學習模型進行訓練的具體步驟為：

(1)將訓練樣本輸入多平面融合特征編碼網絡，多平面融合特征編碼網絡對訓練樣本中點云數據x-y平面、x-z平面和y-z平面的特征進行融合編碼，得到x-y平面點云的融合特征，并將點云的融合特征轉化為稀疏偽圖像；

(2)將稀疏偽圖像輸入Backbone網絡進行特征提取，得到稀疏偽圖像的卷積特征圖；

(3)將稀疏偽圖像的卷積特征圖輸入Detection Head網絡，得到點云數據中檢測目標的預測邊界框坐標以及預測邊界框中存在目標的概率；

(4)以步驟(3)得到的預測邊界框坐標為預測結果，以訓練樣本中標注的邊界框坐標為真實結果，根據預測結果和真實結果構造損失函數，損失函數采用交叉熵損失函數，通過隨機梯度下降算法優化多平面編碼點云特征深度學習模型的網絡參數，降低損失函數數值，不斷迭代此過程優化網絡參數，直至損失函數停止下降，多平面編碼點云特征深度學習模型訓練過程結束，得到訓練后的多平面編碼點云特征深度學習模型；

步驟(1)的具體操作為：

(1a)將訓練樣本中的點云數據離散在x-y平面上均勻間隔的網格上，z方向上不加限制，創建x-y平面上的一系列支柱，每個支柱中包含的點云用r,x_c,y_c,z_c,x_p,y_p特征擴充，得到擴充后的點云特征(x,y,z,r,x_c,y_c,z_c,x_p,y_p)，擴充后的點云特征維度D＝9；其中，x,y,z表示點云的初始坐標值；r表示點云反射率；x_c,y_c,z_c表示該支柱中所有點云坐標求算術平均值得到的坐標值；x_p,y_p表示在當前平面的坐標系下支柱中所有點云相對于坐標中心位置的偏差；

(1b)在x-y平面上，將所有非空支柱中包含的點云數量調整一致，然后根據平面上非空支柱數量、非空支柱中包含的點云數量及非空支柱中點云的特征創建一個密集張量(D,P,N)，即得到x-y平面每個非空支柱的特征(D,P,N)，其中，D表示非空支柱中點云的特征維度，P表示x-y平面上非空支柱的數量，N表示非空支柱中包含的點云數量；

(1c)采用PointNet網絡對x-y平面上非空支柱的特征(D,P,N)進行特征學習，學習后得到x-y平面每個非空支柱中點云最終特征(C,P,N)；其中，C表示點云經過PointNet網絡學習后得到的新的特征維度，P表示x-y平面上非空支柱的數量，N表示非空支柱中包含的點云數量；

(1d)將訓練樣本中的點云數據分別離散在x-z平面上均勻間隔的網格上，y方向上不加限制，創建x-z平面上的一系列支柱，每個支柱中包含的點云用r,x_c,y_c,z_c,x_p,z_p特征擴充，得到擴充后的點云特征(x,y,z,r,x_c,y_c,z_c,x_p,z_p)；其中，x,y,z表示點云的初始坐標值；r表示點云反射率；x_c,y_c,z_c表示該支柱中所有點云坐標求算術平均值得到的坐標值；x_p,z_p表示在當前平面的坐標系下支柱中所有點云相對于坐標中心位置的偏差；然后按照上述步驟(1b)～(1c)的操作，得到x-z平面每個非空支柱的點云最終特征(C,P,N)；

(1e)將訓練樣本中的點云數據分別離散在y-z平面上均勻間隔的網格上，x方向上不加限制，創建y-z平面上的一系列支柱，每個支柱中包含的點云用r,x_c,y_c,z_c,y_p,z_p特征擴充，得到擴充后的點云特征(x,y,z,r,x_c,y_c,z_c,y_p,z_p)；其中，x,y,z表示點云的初始坐標值；r表示點云反射率；x_c,y_c,z_c表示該支柱中所有點云坐標求算術平均值得到的坐標值；y_p,z_p表示在當前平面的坐標系下支柱中所有點云相對于坐標中心位置的偏差；然后按照上述步驟(1b)～(1c)的操作，得到y-z平面每個非空支柱的點云最終特征(C,P,N)；

(1f)將x-z平面、y-z平面每個非空支柱的點云最終特征與x-y平面每個非空支柱中點云最終特征進行疊加，得到x-y平面點云的融合特征(3C,P,N)，采用最大池化操作對融合特征(3C,P,N)進行處理，得到張量(3C,P)，然后根據張量(3C,P)創建稀疏偽圖像(3C，H，W)，其中，H表示稀疏偽圖像的高，W表示稀疏偽圖像的寬。