[發(fā)明專利]一種利用生成對抗網(wǎng)絡(luò)進行稠密點云補全的算法

有效

• 申請?zhí)枺?/td>: 202110768864.8
• 申請日: 2021-07-07
• 公開（公告）號: CN113379646B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 李淵;陳一平;李國艷;程明;王程;李軍;黃競雄
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T17/20;G06V10/44;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廈門致群財富專利代理事務(wù)所(普通合伙) 35224
• 代理人: 劉兆慶

本發(fā)明公開了一種利用生成對抗網(wǎng)絡(luò)進行稠密點云補全的算法，包括以下步驟：S1、設(shè)定生成器，將缺失點云輸入Encoder_C編碼器提取特征，得到高維全局特征向量GFV_x；S2、利用生成器將目標(biāo)點云經(jīng)過Encoder_N?DPC編碼器，得到高維全局特征向量GFV_y；S3、利用生成對抗網(wǎng)絡(luò)在高維全局特征向量空間訓(xùn)練，實現(xiàn)x→y之間的“風(fēng)格遷移”；S4、從生成器生成的新特征向量GFV_G(x)通過解碼器Decoder_N?DPC補全得到稠密點云；本發(fā)明當(dāng)點云80％比例缺失時其補全點云分類精度高達86.5％。

技術(shù)領(lǐng)域

本發(fā)明涉及自動駕駛以及機器人技術(shù)領(lǐng)域，具體的說是一種利用生成對抗網(wǎng)絡(luò)進行稠密點云補全的算法。

背景技術(shù)

點云是一種常用的3D數(shù)據(jù)格式，可以在三維空間中保持物體原有的幾何信息，廣泛應(yīng)用于數(shù)字保存、逆向工程測量、建筑、3D游戲、機器人和虛擬現(xiàn)實等多個領(lǐng)域。

點云數(shù)據(jù)通常是通過使用激光掃描儀、立體攝像機或RGB-D掃描儀來獲得。實際采集過程中由于遮擋、表面材料的透明度、光線反射、傳感器分辨率和視角的限制等因素,會造成物體幾何和語義信息的丟失,導(dǎo)致掃描得到的點云數(shù)據(jù)不完整。因此,為了更好的將點云數(shù)據(jù)應(yīng)用到后續(xù)其他領(lǐng)域,需要進行形狀補全,獲得盡可能完整的點云。傳統(tǒng)的3D形狀補全方法主要包括基于幾何的方法和基于模板匹配的方法?；趲缀蔚姆椒梢岳梦矬w本身的幾何信息(表面光滑,對稱性等)修復(fù)較小的孔洞；基于模板匹配的方法從數(shù)據(jù)庫中搜索相似模板進行替換以實現(xiàn)形狀補全。這些方法對于數(shù)據(jù)要求比較高,且難以實現(xiàn)點云較大比例缺失情況下的補全，模型泛化性能較差。

為了克服上述缺陷，后來發(fā)展了兩種典型的方法。其中一種方法考慮到點云具有無序性的特點,將點云體素化并利用卷積神經(jīng)網(wǎng)絡(luò)進行訓(xùn)練，以進行點云補全。該方法有以下缺陷：(1)、計算內(nèi)存消耗巨大；(2)、隨著3D體素網(wǎng)格分辨率的提高,難以實現(xiàn)細節(jié)信息的補全。另一種方法中，通過稀疏點云的補全克服上述缺陷，即單個數(shù)據(jù)樣本補全之后的點云數(shù)量不超過2048。該方法的優(yōu)點在于較少的內(nèi)存開支，降低了神經(jīng)網(wǎng)絡(luò)訓(xùn)練的困難程度，但同樣存在以下缺陷：(1)、細節(jié)特征表現(xiàn)方面不如稠密點云；(2)、如何更有效的提取信息生成量級更大的、信息更加更富的點云數(shù)據(jù)是一個很大的挑戰(zhàn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于提出了一種利用生成對抗網(wǎng)絡(luò)進行稠密點云補全的算法N-DPC-GAN，其能夠利用生成對抗網(wǎng)絡(luò)構(gòu)建缺失點云的高維全局特征向量和目標(biāo)點云的高維全局特征向量之間的一一映射關(guān)系，進一步“優(yōu)化”缺失點云的高維全局特征向量，進而從缺失點云中重構(gòu)生成完整的點云。

為實現(xiàn)上述目的，本發(fā)明采用以下技術(shù)方案：

一種利用生成對抗網(wǎng)絡(luò)進行稠密點云補全的算法，包括以下步驟：

S1、設(shè)定生成器，將缺失點云輸入Encoder_C編碼器提取特征，得到高維全局特征向量GFV_x；

S2、利用生成器將目標(biāo)點云經(jīng)過Encoder_N-DPC編碼器，得到高維全局特征向量GFV_y；

S3、利用生成對抗網(wǎng)絡(luò)在高維全局特征向量空間訓(xùn)練，實現(xiàn)x→y之間的“風(fēng)格遷移”；

S4、從生成器生成的新特征向量GFV_G(x)通過解碼器Decoder_N-DPC補全得到稠密點云。

優(yōu)選地，步驟S1中Encoder_C解碼器得到高維全局特征向量GFV_x通過以下步驟實現(xiàn)：

S11、將編碼器經(jīng)ShapeNet數(shù)據(jù)集訓(xùn)練得到Encoder_C編碼器；將解碼器經(jīng)訓(xùn)練得到Decoder_C解碼器；