[發明專利]色差引導卷積的點云語義分割方法

有效

• 申請號: 202010537162.4
• 申請日: 2020-06-12
• 公開（公告）號: CN111898607B
• 公開（公告）日: 2022-10-25
• 發明（設計）人: 楊靜;杜少毅;李昊哲;萬騰;陳躍海
• 申請（專利權）人: 西安交通大學
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/56;G06V10/42;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明提供了一種色差引導卷積的點云語義分割方法，包括：將有色點云RGB轉換為HSV；對當前密度下的點云，求k鄰域得中心點與鄰域點相對位置y，送入MLP得到特征F_G；由鄰域不同通道顏色矩排序與y得到三個方向d₁，d₂，d₃，選出附近點的對應特征；對選出特征在三方向與顏色通道上卷積，得特征F_C；將F_G與F_C級聯得到全局特征F；降采樣，重復步驟2?5；將相鄰密度下F與F_C插值恢復，得到每點的預測結果；基于交叉熵損失函數，通過梯度下降最小化損失函數，訓練神經網絡參數；訓練好參數后，給定新的待分割點時，執行步驟1?8，得到分割結果。在實驗結果中可以看到，本發明可以明顯提高多種類別下的點云語義分割精度，適用于室內外場景。

技術領域

本發明涉及小規模點云圖像語義分割技術領域，特別涉及室內外點云語義分割中由點云鄰域顏色信息引導選點和卷積提取特征的方法。

背景技術

三維數據具有很強的真實場景反映能力，越來越受到研究者的重視。點云是三維數據的主要格式，點云的語義分割是場景理解的必要工作，是機器人發展、自動駕駛、虛擬現實和遙感制圖的關鍵。受二維圖像和一維文本的深度學習方法的成功啟發，許多研究人員已經將這些技術應用于分析三維點云。但是將點云作為直接輸入難以處理，因為它們本質上是非結構化和無序的。

PointNet是使用卷積神經網絡直接處理原始點云的里程碑。它將整個點集輸入到一個共享的多層感知器(MLP)中進行卷積，通過對稱性的池化操作使得PointNet可以處理無序的點，但是在PointNet中沒有考慮鄰域信息。在PointNet++中，作者將局部上下文和層次特征學習集成到網絡中。

KD-network首先在輸入點云上構建一個KD-tree，然后應用層次分組對點的局部依賴關系進行建模。RSNet對點云中的局部結構進行建模，設計片匯聚層，將無序點的特征投影到有序的特征向量序列上，然后可以應用循環神經網絡來處理。KCNet改進了PointNet模型，為局部鄰近點定義了一組可學習的點集內核，并提出了基于最近鄰圖的池方法。這些方法都取得了良好的效果，表明局部上下文的有序結構對于點云語義分割是非常重要的。

所有這些方法都只關注局部點集或點云部分的幾何特征，而不使用任何顏色特征。在人類的感知中，色彩可以瞬間使物體與周圍環境區分開來，優于幾何特征。一些研究者將點云的顏色信息引入到語義分割中。使用空間局部關系來重新組織點，并將RGB作為額外的特性。它們都忽略了顏色在幾何信息重組中的重要作用。通常，色彩的變化往往反映了物體空間特征的變化。充分利用色彩信息可以增強空間特征。如何在局部語境中挖掘顏色與幾何的內在聯系，是語義分割的重要內容。

發明內容

本發明的目的在于提供一種色差引導卷積的點云語義分割方法，以解決上述現有理論與設計上存在的缺陷或不足；該分割網絡是為了提升點云語義分割中不同顏色物體的分割精度，通過由顏色信息進行鄰域點的有序化并生成引導方向進行選點，并對選擇的點和特征在不同引導方向和顏色通道上實現特征編碼，將顏色特征和幾何特征相結合，從而保證網絡在點云語義分割的任務中對于不同顏色且不同類別的物體有著更高的分割精度。

為了實現上述的目的，本發明采用如下技術方案：

色差引導卷積的點云語義分割方法，包括以下步驟：

步驟一：將有色點云的RGB通道轉化為HSV顏色通道；

步驟二：對當前密度下的點云，求k鄰域得中心點x_i以及鄰域點x_k與中心點x_i相對位置y，送入三層MLP得到高維嵌入特征F_G＝MLP(x_i,y)；