[發明專利]一種基于深度學習的點云語義分割方法

有效

• 申請號: 201910571379.4
• 申請日: 2019-06-28
• 公開（公告）號: CN111507982B
• 公開（公告）日: 2022-04-26
• 發明（設計）人: 劉勇;孔昕;翟光耀;鐘保權
• 申請（專利權）人: 浙江大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/194;G06V10/762;G06K9/62
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

本發明提供一種基于深度學習的點云語義分割方法，包括如下步驟：S1)根據先驗信息對場景作出初步的聚類分割，將不感興趣點云設置為背景類別，獲得潛在感興趣類別的若干點云簇，再對若干點云簇進一步精煉優化，最終得到候選點云簇；S2)將S1)階段得到的若干點云簇做坐標轉換和數據擴增處理，再送入語義分割的神經網絡中提取點云特征，通過監督學習訓練神經網絡。本發明的優點為：可在不損失空間信息的情況下直接處理三維點云數據，完成點云語義分割任務。

技術領域

本發明涉及計算機視覺技術領域，具體涉及一種基于深度學習的點云語義分割方法。

背景技術

隨著機器人感知技術的飛速發展，激光雷達、深度相機等作為重要的感知傳感器被應用到移動機器人上，因此對上述傳感器采集到的點云數據進行有效的語義分割變得至關重要。

基于三維點云的場景理解，包括點云語義分割，在計算機視覺中具有悠久的歷史。點云數據具有空間的三維信息，但缺少圖像信息具有的紋理信息，因此對點云數據進行語義分割是很有挑戰性的工作。

傳統的一些方法根據幾何距離對場景點云進行聚類分割，這些方法僅僅通過距離信息分割點云，而忽視了點云所具有的語義信息。另一些方法基于三維點云的手工描述子，對點云的結構信息提取手工特征，但是手工特征的表達能力有限，不能達到很好的精度和效果。SqueezeSeg系列、PIXOR等方法將三維點云投影到二維平面或球面上，將數據處理為二維圖像數據格式，再使用卷積神經網絡進行語義分割，將得到的結果反投影回三維空間，得到三維點云語義分割結果；這類方法在將三維點云投影到二維平面時，會損失原本的三維空間信息，由于分辨率和視角遮擋，會損失部分點云。Frustum-PointNet、MV3D等方法基于圖像和點云的融合信息，對融合信息進行點云語義分割，這類方法使用了圖像信息和點云信息，增加了成本和計算量。SECOND、Voxelnet等方法將點云數據離散化到體素網格中，然后使用3D卷積操作，這類方法需要選擇體素網格的大小，并且3D卷積操作的計算復雜度很高。PoinNet、PointNet++提出了基于深度學習的點云特征提取方法，可以有效地提取點云特征，PointRCNN等方法基于深度學習提取的特征對點云場景中感興趣目標做檢測，可以得到目標點云的三維包圍框；這類方法是檢測方法，而非語義分割方法，不能得到每個空間點的語義類別，并且這類方法將場景所有點云直接放入神經網絡，會導致神經網絡的計算量大大增加。

發明內容

本發明的目的是提供一種可在不損失空間信息的情況下直接處理三維點云數據、完成點云語義分割任務的基于深度學習的點云語義分割方法。

為了達到上述目的，本發明通過以下技術方案來實現：

一種基于深度學習的點云語義分割方法，包括如下步驟：

S1)根據先驗信息對場景作出初步的聚類分割，將不感興趣點云設置為背景類別，獲得潛在感興趣類別的若干點云簇，再對若干點云簇進一步精煉優化，最終得到候選點云簇；

S1-1)地面擬合分割

根據地面的先驗信息，地面被平面模型表達，擬合多個平面N_seg；

選取若干高度值較低的種子點，擬合出平面，計算每個點與擬合平面的垂直距離并根據閾值Th_dist判斷該點是否屬于平面，屬于平面的點被作為新種子點再次擬合平面；重復上述過程N_iter次；最后將N_seg平面拼接在一起來獲取整個地面；

S1-2)基于激光雷達環的快速聚類分割

按照一定順序存儲的激光雷達傳感器中的每個點，每個點都屬于其中一個環；