[發(fā)明專利]一種基于元學(xué)習(xí)的3D點云語義分割遷移方法

有效

• 申請?zhí)枺?/td>: 202010037927.8
• 申請日: 2020-01-14
• 公開（公告）號: CN111260660B
• 公開（公告）日: 2023-04-11
• 發(fā)明（設(shè)計）人: 馮麗;李磊;曾凡玉;汪晨;葛樹志
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06T7/11
• 分類號: G06T7/11
• 代理公司: 北京正華智誠專利代理事務(wù)所(普通合伙) 11870
• 代理人: 楊浩林

本發(fā)明公開了一種基于元學(xué)習(xí)的3D點云語義分割遷移方法，涉及機器人導(dǎo)航技術(shù)領(lǐng)域。該方法包括：構(gòu)建PointNet網(wǎng)絡(luò)模型；選擇訓(xùn)練數(shù)據(jù)集；對于每個訓(xùn)練數(shù)據(jù)集，利用其中不同類別的數(shù)據(jù)形成訓(xùn)練任務(wù)集；構(gòu)建元學(xué)習(xí)框架；根據(jù)元學(xué)習(xí)框架，通過各訓(xùn)練任務(wù)集對PointNet網(wǎng)絡(luò)模型進行訓(xùn)練；選擇測試任務(wù)集；將測試任務(wù)集輸入訓(xùn)練好的PointNet網(wǎng)絡(luò)模型進行測試，直至模型的梯度更新值收斂。該方法在新環(huán)境任務(wù)中通過加載已經(jīng)訓(xùn)練完成的模型，使用最優(yōu)的相似任務(wù)參數(shù)，新任務(wù)的室內(nèi)場景語義分割方法的訓(xùn)練效率高；通過元學(xué)習(xí)框架學(xué)習(xí)了不同任務(wù)的語義分割能力，確保學(xué)習(xí)特征可以適用于不同的遷移環(huán)境，提高了模型的泛化性能。

技術(shù)領(lǐng)域

本發(fā)明涉及機器人導(dǎo)航技術(shù)領(lǐng)域，具體而言，涉及一種基于元學(xué)習(xí)的3D點云語義分割遷移方法。

背景技術(shù)

在機器人導(dǎo)航技術(shù)領(lǐng)域，語義分割是一種細粒度的分類任務(wù)，是計算機視覺任務(wù)中實現(xiàn)場景理解的一個基礎(chǔ)問題，是實現(xiàn)機器人從粗略推理到精細推理的重要步驟。

目前3D點云數(shù)據(jù)的語義分割方法由圖像的語義分割發(fā)展而來，根據(jù)數(shù)據(jù)的表達形式不同，主要有以下兩種方法：

多視角投影：將3D點云數(shù)據(jù)投影到不同的平面，得到不同視角下的2D圖像，分別利用圖像語義分割的方法處理2D圖像，再融合不同視角下的數(shù)據(jù)信息，得到完整3D點云數(shù)據(jù)的結(jié)果。這種方法丟棄了3D點云數(shù)據(jù)的優(yōu)勢，而且在投影和融合階段會損失數(shù)據(jù)的空間幾何關(guān)系特征，因此不能適應(yīng)復(fù)雜環(huán)境。

3D卷積：將點云數(shù)據(jù)轉(zhuǎn)換為空間上有依賴關(guān)系的體素網(wǎng)絡(luò)，與圖像類似，具有一定的空間結(jié)構(gòu)，利用三維卷積進行處理。由于3D點云數(shù)據(jù)采集本身導(dǎo)致數(shù)據(jù)分布不均勻，數(shù)據(jù)的稀疏性會影響特征提取的準確性，同時，三維卷積操作計算量大，數(shù)據(jù)處理效率低，因此該方法難以應(yīng)用。

上述兩種方法不能直接利用點云數(shù)據(jù)，需要轉(zhuǎn)換點云數(shù)據(jù)，該過程存在信息損失，而且效率較低；另外，需要的標注數(shù)據(jù)量多，尤其對于語義分割任務(wù)而言，需要像素級的數(shù)據(jù)標注，工作量大，成本高。

發(fā)明內(nèi)容

本發(fā)明在于提供一種基于元學(xué)習(xí)的3D點云語義分割遷移方法，其能夠緩解上述問題。

為了緩解上述的問題，本發(fā)明采取的技術(shù)方案如下：

本發(fā)明提供了一種基于元學(xué)習(xí)的3D點云語義分割遷移方法，包括以下步驟：

S100、構(gòu)建PointNet網(wǎng)絡(luò)模型；

S200、輸入訓(xùn)練環(huán)境的3D點云數(shù)據(jù)集，將3D點云數(shù)據(jù)集分成若干子數(shù)據(jù)集，利用PointNet網(wǎng)絡(luò)模型檢測各子數(shù)據(jù)集的相似度，選取相似度最小的n個子數(shù)據(jù)集分別作為場景語義分割遷移的n個訓(xùn)練數(shù)據(jù)集；

S300、對于每個訓(xùn)練數(shù)據(jù)集，對其中的數(shù)據(jù)進行預(yù)處理，利用其中不同類別的數(shù)據(jù)形成訓(xùn)練任務(wù)集；

S400、構(gòu)建元學(xué)習(xí)框架，其包括梯度更新框架和元學(xué)習(xí)更新框架；

S500、根據(jù)元學(xué)習(xí)框架，通過各訓(xùn)練任務(wù)集對PointNet網(wǎng)絡(luò)模型進行訓(xùn)練；

S600、獲取新環(huán)境3D點云數(shù)據(jù)集，對新環(huán)境3D點云數(shù)據(jù)集進行預(yù)處理，利用其中不同類別的數(shù)據(jù)形成測試任務(wù)集；

S700、將測試任務(wù)集輸入訓(xùn)練好的PointNet網(wǎng)絡(luò)模型進行測試，直至模型的梯度更新值收斂，完成3D點云語義分割的遷移。

本技術(shù)方案的技術(shù)效果是：在新環(huán)境任務(wù)中通過加載已經(jīng)訓(xùn)練完成的模型，使用最優(yōu)的相似任務(wù)參數(shù)，僅僅訓(xùn)練幾步即可完成新任務(wù)的場景語義分割方法的訓(xùn)練；由于加載的訓(xùn)練模型參數(shù)是多種相似任務(wù)的最優(yōu)參數(shù)，更有利于新任務(wù)的訓(xùn)練，相比于重新訓(xùn)練神經(jīng)網(wǎng)絡(luò)和微調(diào)神經(jīng)網(wǎng)絡(luò)可以更快收斂，減少訓(xùn)練時間。通過元學(xué)習(xí)框架學(xué)習(xí)了不同任務(wù)的語義分割能力，確保學(xué)習(xí)特征可以適用于不同的遷移環(huán)境，提高了模型的泛化性能，相比在單一環(huán)境任務(wù)的室內(nèi)場景語義分割的神經(jīng)網(wǎng)絡(luò)的遷移，可遷移性更強。