[發(fā)明專利]三維點(diǎn)云分割方法、裝置及服務(wù)器

在審

• 申請(qǐng)?zhí)枺?/td>: 202110488119.8
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113205531A
• 公開（公告）日: 2021-08-03
• 發(fā)明（設(shè)計(jì)）人: 陳方平;李蘊(yùn)儀;馬輝;朱勝利
• 申請(qǐng)（專利權(quán)）人: 北京云圣智能科技有限責(zé)任公司
• 主分類號(hào): G06T7/11
• 分類號(hào): G06T7/11;G06T3/40;G06N3/08;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 安衛(wèi)靜

本發(fā)明提供了一種三維點(diǎn)云分割方法、裝置及服務(wù)器，包括：獲取目標(biāo)場景的三維點(diǎn)云數(shù)據(jù)；通過預(yù)先訓(xùn)練得到的點(diǎn)云分割網(wǎng)絡(luò)提取所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征，并基于所述目標(biāo)復(fù)值特征確定所述目標(biāo)場景的分割結(jié)果；其中，所述點(diǎn)云分割網(wǎng)絡(luò)包括復(fù)值Pointnet++子網(wǎng)絡(luò)，所述復(fù)值Pointnet++子網(wǎng)絡(luò)用于提取所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征。本發(fā)明可以有效提高三維點(diǎn)云分割結(jié)果的準(zhǔn)確度，顯著改善三維點(diǎn)云分割效果。

技術(shù)領(lǐng)域

本發(fā)明涉及點(diǎn)云分割技術(shù)領(lǐng)域，尤其是涉及一種三維點(diǎn)云分割方法、裝置及服務(wù)器。

背景技術(shù)

3D(3-dimension，三維)點(diǎn)云中的對(duì)象檢測技術(shù)對(duì)于AR(增強(qiáng)現(xiàn)實(shí)，AugmentedReality)、MR(混合現(xiàn)實(shí)，Mixed Reality)以及機(jī)器人的應(yīng)用至關(guān)重要，該技術(shù)需要確定三維包圍盒的位置，并對(duì)稀疏和不規(guī)則分布的3D點(diǎn)云進(jìn)行分類處理和添加類別標(biāo)簽。目前，基于深度學(xué)習(xí)的三維點(diǎn)云目標(biāo)檢測方法大致可以分為兩類：基于Voxel(體素)的三維點(diǎn)云目標(biāo)檢測方法和基于點(diǎn)的三維點(diǎn)云目標(biāo)檢測方法。對(duì)于基于Voxel的三維點(diǎn)云目標(biāo)檢測方法，該方法需要將不規(guī)則的點(diǎn)云數(shù)據(jù)轉(zhuǎn)換為規(guī)則大小的體素，然后應(yīng)用二維卷積神經(jīng)網(wǎng)絡(luò)或三維卷積神經(jīng)網(wǎng)絡(luò)提取特征，然而體素化在量化過程中不可避免地會(huì)導(dǎo)致信息丟失，此外，由于體素網(wǎng)格的分辨率以立方增長，導(dǎo)致在高分辨率需求的場景下難以利用該方法得到較好的目標(biāo)檢測效果；對(duì)于基于點(diǎn)的三維點(diǎn)云目標(biāo)檢測方法，該方法提出了一種新的無序?qū)傩陨婕皝碇苯犹幚聿灰?guī)則點(diǎn)云數(shù)據(jù)，雖然該方法在基準(zhǔn)上達(dá)到最優(yōu)的性能狀態(tài)，但是在三維點(diǎn)云目標(biāo)檢測過程中丟棄了相位信息，導(dǎo)致三維點(diǎn)云目標(biāo)檢測效果較差。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種三維點(diǎn)云分割方法、裝置及服務(wù)器，可以有效提高三維點(diǎn)云分割結(jié)果的準(zhǔn)確度，顯著改善三維點(diǎn)云分割效果。

第一方面，本發(fā)明實(shí)施例提供了一種三維點(diǎn)云分割方法，包括：獲取目標(biāo)場景的三維點(diǎn)云數(shù)據(jù)；通過預(yù)先訓(xùn)練得到的點(diǎn)云分割網(wǎng)絡(luò)提取所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征，并基于所述目標(biāo)復(fù)值特征確定所述目標(biāo)場景的分割結(jié)果；其中，所述點(diǎn)云分割網(wǎng)絡(luò)包括復(fù)值Pointnet++子網(wǎng)絡(luò)，所述復(fù)值Pointnet++子網(wǎng)絡(luò)用于提取所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征。

在一種實(shí)施方式中，所述點(diǎn)云分割網(wǎng)絡(luò)還包括聚類子網(wǎng)絡(luò)和提案子網(wǎng)絡(luò)；所述通過預(yù)先訓(xùn)練得到的點(diǎn)云分割網(wǎng)絡(luò)提取所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征，并基于所述目標(biāo)復(fù)值特征確定所述目標(biāo)場景的分割結(jié)果的步驟，包括：通過所述復(fù)值Pointnet++子網(wǎng)絡(luò)提取所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征；其中，所述復(fù)值Pointnet++子網(wǎng)絡(luò)包括復(fù)值點(diǎn)集抽取層和復(fù)值特征傳播層；通過所述聚類子網(wǎng)絡(luò)對(duì)所述目標(biāo)復(fù)值特征進(jìn)行聚類處理，將所述目標(biāo)復(fù)值特征劃分為多個(gè)聚類簇；通過所述提案子網(wǎng)絡(luò)根據(jù)各個(gè)所述聚類簇對(duì)應(yīng)的目標(biāo)復(fù)值特征，確定所述目標(biāo)場景的分割結(jié)果。

在一種實(shí)施方式中，所述通過所述復(fù)值Pointnet++子網(wǎng)絡(luò)提取所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征的步驟，包括：通過所述復(fù)值點(diǎn)集抽取層對(duì)所述三維點(diǎn)云數(shù)據(jù)進(jìn)行下采樣處理得到初始復(fù)值特征，并利用復(fù)值算子對(duì)所述初始復(fù)值特征進(jìn)行處理得到中間復(fù)值特征；其中，所述復(fù)值點(diǎn)集抽取層包括實(shí)部點(diǎn)集抽取分支和虛部點(diǎn)集抽取分支，所述初始復(fù)值特征包括初始實(shí)部特征和初始虛部特征；通過所述復(fù)值特征傳播層基于所述中間復(fù)值特征確定所述三維點(diǎn)云數(shù)據(jù)的目標(biāo)復(fù)值特征；其中，所述復(fù)值特征傳播層包括實(shí)部特征傳播分支、虛部特征傳播分支和復(fù)值全連接層，所述中間復(fù)值特征包括中間實(shí)部特征和中間虛部特征。

在一種實(shí)施方式中，所述利用復(fù)值算子對(duì)所述初始復(fù)值特征進(jìn)行處理得到中間復(fù)值特征的步驟，包括：通過所述實(shí)部點(diǎn)集抽取分支利用復(fù)值算子對(duì)所述初始實(shí)部特征進(jìn)行處理得到中間實(shí)部特征，以及，通過所述虛部點(diǎn)集抽取分支利用所述復(fù)值算子對(duì)所述初始虛部特征進(jìn)行處理得到中間虛部特征。

在一種實(shí)施方式中，所述復(fù)值算子包括復(fù)值卷積算子、復(fù)值激活算子、復(fù)值池化算子、復(fù)值歸一化算子中的一種或多種。