[發明專利]一種基于特征復用的點云卷積神經網絡

有效

• 申請號: 202010148731.6
• 申請日: 2020-03-05
• 公開（公告）號: CN111414941B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 劉厚德;阮見;張鄭;王學謙;朱曉俊;梁斌
• 申請（專利權）人: 清華大學深圳國際研究生院
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 深圳新創友知識產權代理有限公司 44223
• 代理人: 江耀純

本發明公開了一種基于特征復用的點云卷積神經網絡，包括w個并行的點云特征提取單元、一池化層和若干串聯的全連接層，點云特征提取單元輸入原始點云、輸出共同連接至池化層，池化層的輸出連接第一個全連接層；每個點云特征提取單元含N個采樣模塊和N?1個特征復用模塊，第1個采樣模塊之后串聯第2個采樣模塊，第2個采樣模塊開始，采樣模塊與特征復用模塊先后交替串聯；各采樣模塊對各自的輸入進行特征提取，各特征復用模塊對各自的輸入進行特征疊加復用；池化層對w個點云特征提取單元最終輸出的w組特征按預設條件進行過濾；若干全連接層對池化層過濾后所篩選出的特征進行連接，將維度降至與所要分類的物體數目相等的特征維度數，實現物體分類。

技術領域

本發明涉及3D點云數據處理技術領域，具體涉及一種基于特征復用的點云卷積神經網絡。

背景技術

隨著自動駕駛領域和高精度地圖定位技術的迅猛發展，高效、準確地處理3D點云數據的技術變得越來越重要。

一般而言，點云數據可通過CAD模型轉化得到，也可直接通過LiDAR傳感器或RGBD相機獲取點云。由此衍生出，如何在3D點云的處理上達到對2D圖像的效果，這成為一個非常值得探究的問題。

3D點云處理技術面臨的挑戰主要包括以下方面：

1)非結構化數據，沒有規范的網格，難以進行卷積。點云是分布在空間中的三維坐標點，因此沒有結構化的網格來實現有效的卷積，在點云領域至今沒有規范的卷積范式；

2)點云處理過程中的置換不變性要求。點云本質上是一長串空間中的點(n×3矩陣，其中n是點數)。在幾何上，點的順序不影響它在底層矩陣結構中的表示方式，相同的點云可以由兩個完全不同的矩陣表示。

3)采集的原始點云特點。通常環境噪聲會造成采集到的點云數據有很多干擾點，也會因為物體之間存在遮擋、光照條件不充足導致點云采集缺失，而且采集點云會因為距離的遠近造成近密遠疏的點云分布，增加了對點云處理技術的要求。

在如何使用深度學習技術對點云處理問題進行探究的過程中，斯坦福大學提出的PointNet和Pointnet++首次實現了直接對原始點云有效的卷積處理，并達到了比較理想的實驗結果。

PointNet的主要思想是三維物體分類任務的分類數目是有限的，而空間中的點只有XYZ三維的信息，因此原始的信息不能滿足分類個數的要求，需要對原始點云的特征進行升維操作。通過卷積的方式將原始點云特征升到一個非常冗余的特征空間，比如1024維特征空間，在這個空間中點云的特征是冗余的，隨后再對這樣一個空間進行下采樣，采樣到要求分類的物體數量，比如需要分成30類物體，就通過下采樣將1024維特征降到30維，這樣就能夠滿足分類任務的要求。

PointNet的局限性：一是忽略了點云的局部信息。PointNet是直接對全部點云進行特征提取，再做maxpool(使用maxpool主要是為了解決點云輸入的置換不變性要求，因為maxpool是一種對稱函數，而對稱函數對數據的輸入順序沒有要求，同樣的數據經過對稱函數都能得到同樣的輸出)操作實現全局特征的下采樣，而這樣的操作就過濾掉了點云的局部信息，比如邊緣輪廓信息等，從而難以實現與物體模型比較相似的物體的區分。二是沒有點云數據的近密遠疏的密度分布特征，對于稀疏點云的處理效果不好，對復雜的場景點云沒有泛化能力。

Pointnet++的主要思想是在Pointnet基礎上增加了點云局部特征的提取模塊，并考慮了點云的密度分布不均勻的問題，采用了不同尺度的采樣方式。

PointNet++的局限性：一是對局部特征的提取僅僅通過簡單的多層感知機，沒有在最開始階段對點云特征進行高效、完整的提取，點云的卷積方式需要進一步改進。二是對點云密度不均勻問題的解決方法過于簡單，只是通過不同尺度的特征拼接在一起，而忽視了對于點云中同一個點在不同尺度中其所代表的特征，表達的信息內容是不同的。

發明內容