[發(fā)明專利]一種基于深度學習的點云語義分割方法

有效

• 申請?zhí)枺?/td>: 201910571379.4
• 申請日: 2019-06-28
• 公開（公告）號: CN111507982B
• 公開（公告）日: 2022-04-26
• 發(fā)明（設計）人: 劉勇;孔昕;翟光耀;鐘保權(quán)
• 申請（專利權(quán)）人: 浙江大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T7/194;G06V10/762;G06K9/62
• 代理公司: 浙江杭州金通專利事務所有限公司 33100
• 代理人: 劉曉春

1.一種基于深度學習的點云語義分割方法，其特征在于包括如下步驟：

S1)根據(jù)先驗信息對場景作出初步的聚類分割，將不感興趣點云設置為背景類別，獲得潛在感興趣類別的若干點云簇，再對若干點云簇進一步精煉優(yōu)化，最終得到候選點云簇；

S1-1)地面擬合分割

根據(jù)地面的先驗信息，地面被平面模型表達，擬合多個平面N_seg；

選取若干高度值較低的種子點，擬合出平面，計算每個點與擬合平面的垂直距離并根據(jù)閾值Th_dist判斷該點是否屬于平面，屬于平面的點被作為新種子點再次擬合平面；重復上述過程N_iter次；最后將N_seg平面拼接在一起來獲取整個地面；

S1-2)基于激光雷達環(huán)的快速聚類分割

按照一定順序存儲的激光雷達傳感器中的每個點，每個點都屬于其中一個環(huán)；

處在同一個環(huán)上的點之間的距離若小于閾值Th_ring，就被聚為一類；處在不同環(huán)上的點之間的距離若小于閾值Th_prop，就被聚為一類；最終每個點都具有一個聚類標簽，得到若干點云簇；

S1-3)候選點云簇精煉

當點云簇中點的個數(shù)小于閾值Th_num時,這個點云簇就被置為背景類；

其中x^G，y^G，z^G為空間點在激光雷達坐標系下的坐標，Th_num與距離d成反比；

擬合過濾后的點云簇的最小外接三維包圍框，并將這個包圍框擴大一個固定距離，合并更多的點云給點云簇；

S2)將S1)階段得到的若干點云簇做坐標轉(zhuǎn)換和數(shù)據(jù)擴增處理，再送入語義分割的神經(jīng)網(wǎng)絡中提取點云特征，通過監(jiān)督學習訓練神經(jīng)網(wǎng)絡；

S2-1)數(shù)據(jù)預處理

選取每個點云簇的局部坐標系，任取其三維包圍框的底部頂點作為原點，xyz軸為包圍框的邊，建立右手直角坐標系；將點云簇翻轉(zhuǎn)并繞z軸旋轉(zhuǎn)擴增，將原始數(shù)據(jù)及擴增數(shù)據(jù)一起送入神經(jīng)網(wǎng)絡；

S2-2)基于深度學習的語義分割

每個點云簇被采樣到一個固定點數(shù)N，若點云數(shù)量NUM大于N則該點云簇被隨機采樣至N，若點云數(shù)量NUM小于N則該點云簇的部分點被重復采樣直至總點數(shù)為N；

使用PointNet++網(wǎng)絡中的點云特征提取模塊，使用三層特征傳播層，兩層全連接層和一層隨機失活層；

每個點的特征向量為p＝{x，y，z，i，n}，其中x，y，z為點云簇局部坐標系下每個點的坐標，i為激光雷達測量的點的反射強度，描述了原始點云簇點的數(shù)量NUM與采樣點數(shù)量N的相對關(guān)系；

S2-3)通過監(jiān)督學習訓練神經(jīng)網(wǎng)絡

采用無人駕駛場景的KITTI Raw數(shù)據(jù)集，采用監(jiān)督學習對模型進行訓練，并根據(jù)S2-1)中的方法對訓練數(shù)據(jù)擴增；

使用Focal loss為網(wǎng)絡的誤差，F(xiàn)L(p_t)＝-α(1-p_t)^γlog(p_t)；其中，p_t為網(wǎng)絡預測的每個點的類別概率，α設為0.25，γ設為2；

獲取訓練誤差后，網(wǎng)絡將沿梯度方向進行傳播，更新網(wǎng)絡參數(shù)，迭代至收斂。