[發(fā)明專利]一種基于多特征信息增強(qiáng)編碼的三維點云語義分割方法

有效

• 申請?zhí)枺?/td>: 202110617230.2
• 申請日: 2021-06-03
• 公開（公告）號: CN113392841B
• 公開（公告）日: 2022-11-18
• 發(fā)明（設(shè)計）人: 羅欣;陳艷陽;李曉溪;崔慧敏;赫熙煦;許文波;鄭進(jìn)軍
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06V30/148
• 分類號: G06V30/148;G06V30/18;G06V30/19;G06V10/80;G06V10/82;G06T9/00;G06T19/20;G06T5/00;G06N3/04;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于多特征信息增強(qiáng)編碼的三維點云語義分割方法，其特征在于，包括以下步驟：

步驟1：對輸入的點云數(shù)據(jù)進(jìn)行編碼得到點云的局部空間特征，編碼層由2個SG-抽象層(Separate and Geometric information enhancement-Set Abstraction Layer，SG-SA)結(jié)構(gòu)組成，通過SG-SA1和SG-SA2進(jìn)行抽取并保留各層的特征，每個SG-SA層結(jié)構(gòu)均由三個相關(guān)聯(lián)的網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成，分別是用于點云采樣點選取的采樣層(Sampling Layer)、用于構(gòu)建局部空間的分組層(Grouping Layer)和用于特征聚合的SG-PointNet層；

步驟1.1：輸入的點云數(shù)據(jù)首先通過用于點云采樣點選取的采樣層，用最遠(yuǎn)點采樣方法(Farthest Point Sampling，F(xiàn)PS)獲取固定數(shù)量的點作為采樣點；

步驟1.2：對每個采樣點利用分組層(Grouping Layer)進(jìn)行球體查詢(Ball Query)，尋找鄰域點并局部空間構(gòu)建；

步驟1.3：在每個局部空間內(nèi)的幾何信息和附加信息利用PointNet基礎(chǔ)結(jié)構(gòu)進(jìn)行分開編碼，在構(gòu)建幾何特征時加入局部空間的中心點坐標(biāo)、相對坐標(biāo)和歐氏距離等信息，得到了降采樣后的點云和每個點的局部空間特征，即完成了SG-SA1層的降采樣和特征提取；

步驟1.4：將步驟1.3得到的點云和特征重復(fù)步驟1.1-1.3，完成SG-SA2層的降采樣和特征提取,得到2組經(jīng)過降采樣后的點云和特征；

步驟2：將采樣并編碼后的特征點云按照2次編碼的反過程進(jìn)行2次解碼，解碼層由2個特征聚合(Feature Propagation，F(xiàn)P)層構(gòu)成，通過FP1和FP2逐步進(jìn)行上采樣恢復(fù)原始點云結(jié)構(gòu)，并進(jìn)行特征聚合和跨層跳躍鏈接，得到點云中每個點的特征；

步驟2.1：將SG-SA2層得到的點云和對應(yīng)特征通過FP1層上采樣恢復(fù)到SG-SA1層處理后的點云大小；

步驟2.2：對SG-SA1層中的每個點找到其對應(yīng)SG-SA2層中最近的3個點，將這三個點的特征進(jìn)行三線性權(quán)重插值，作為點的插值特征；

步驟2.3：將插值特征與SG-SA1層中得到的點的特征進(jìn)行幾何特征和附加特征的跨層跳躍鏈接，并通過MLP得到了FP1層的最終點特征；

步驟2.4：將FP1層獲取的點特征作為下一層FP2中的插值部分，用三線性插值獲取插值特征，之后和原始的點的特征鏈接，再通過MLP獲取最終的每個點的特征；

步驟3：將點云和其對應(yīng)的特征放入全連接層，并進(jìn)行點的語義信息的判別。

2.如權(quán)利要求1所述方法，其特征在于，步驟1中的SG-SA1層和SG-SA2層在進(jìn)行局部空間特征提取時將每個局部空間內(nèi)的幾何信息和附加信息利用PointNet基礎(chǔ)結(jié)構(gòu)進(jìn)行分開編碼。

3.如權(quán)利要求1所述方法，其特征在于，步驟1中的SG-SA1層和SG-SA2層在構(gòu)建幾何特征時加入局部空間的中心點坐標(biāo)、相對坐標(biāo)和歐氏距離等信息。

4.如權(quán)利要求1所述方法，其特征在于，步驟2中將幾何特征和附加特征進(jìn)行分開聚合。