[發(fā)明專利]一種基于生成對(duì)抗網(wǎng)絡(luò)的三維掃描點(diǎn)云孔洞填補(bǔ)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010798533.4
• 申請(qǐng)日: 2020-08-11
• 公開（公告）號(hào): CN111899353A
• 公開（公告）日: 2020-11-06
• 發(fā)明（設(shè)計(jì)）人: 劉克平;王健宇;張振國(guó);李巖;菅齊;楊宏濤;于微波
• 申請(qǐng)（專利權(quán)）人: 長(zhǎng)春工業(yè)大學(xué)
• 主分類號(hào): G06T19/20
• 分類號(hào): G06T19/20;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)春吉大專利代理有限責(zé)任公司 22201
• 代理人: 朱世林

本發(fā)明公開了一種基于生成對(duì)抗網(wǎng)絡(luò)的三維掃描點(diǎn)云孔洞填補(bǔ)方法，屬于人工智能機(jī)器視覺領(lǐng)域，具體步驟如下：步驟S10，獲取樣本集；步驟S20，獲取生成對(duì)抗網(wǎng)絡(luò)，通過所述生成對(duì)抗網(wǎng)絡(luò)樣本集確定訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型參數(shù)；步驟S30，獲取待填補(bǔ)的點(diǎn)云數(shù)據(jù)確定填補(bǔ)之后完整的點(diǎn)云數(shù)據(jù)。本發(fā)明即一種基于生成對(duì)抗網(wǎng)絡(luò)的點(diǎn)云孔洞填補(bǔ)方法，通過將獲取到的若干完整點(diǎn)云數(shù)據(jù)和若干對(duì)應(yīng)的殘缺點(diǎn)云數(shù)據(jù)完成對(duì)生成對(duì)抗網(wǎng)絡(luò)的模型的參數(shù)訓(xùn)練；將待填補(bǔ)的殘缺點(diǎn)云數(shù)據(jù)輸入至所述已訓(xùn)練生成對(duì)抗網(wǎng)絡(luò)模型中的生成器中進(jìn)行孔洞填補(bǔ)；整個(gè)過程在保證點(diǎn)云數(shù)據(jù)恢復(fù)的精確度的同時(shí)，可以大大的提高點(diǎn)云數(shù)據(jù)恢復(fù)的速度及精度。

技術(shù)領(lǐng)域

本發(fā)明公開了一種基于生成對(duì)抗網(wǎng)絡(luò)的三維掃描點(diǎn)云孔洞填補(bǔ)方法，屬于人工智能機(jī)器視覺領(lǐng)域。

背景技術(shù)

三維掃描點(diǎn)云可由如下方式獲取由雙目相機(jī)采集具有結(jié)構(gòu)光的編碼圖案的目標(biāo)物二維圖像，并根據(jù)三角形原理，恢復(fù)得到目標(biāo)點(diǎn)云數(shù)據(jù)，其屬性包括物體表面的三維空間位置X、Y、Z，表面法向量、曲率等信息。結(jié)構(gòu)光三維掃描點(diǎn)云具有采樣密度高，對(duì)環(huán)境光照存在較高的魯棒性等優(yōu)點(diǎn)，隨著機(jī)器視覺技術(shù)的發(fā)展，對(duì)于三維掃描點(diǎn)云的處理技術(shù)變得越發(fā)的重要。

然而三維掃描點(diǎn)云的點(diǎn)云數(shù)據(jù)由于目標(biāo)物存在遮擋以及目標(biāo)物表面特性的不同，在恢復(fù)點(diǎn)云時(shí)存在著恢復(fù)點(diǎn)云數(shù)據(jù)殘缺的問題，為此，編程人員以往在應(yīng)用點(diǎn)云數(shù)據(jù)之前常利用模板對(duì)點(diǎn)云孔洞進(jìn)行填補(bǔ)。這種由模板對(duì)點(diǎn)云進(jìn)行填補(bǔ)的主要流程為：首先，根據(jù)待測(cè)物體點(diǎn)云模型和實(shí)際測(cè)量點(diǎn)云上特征點(diǎn)間的對(duì)應(yīng)關(guān)系，對(duì)待測(cè)物體點(diǎn)云模板進(jìn)行三維縮放。然后，采用非剛體ICP策略或其他配準(zhǔn)策略將待測(cè)物點(diǎn)云模板向待測(cè)物的的實(shí)際測(cè)量點(diǎn)云配準(zhǔn)。最后，將原始測(cè)量點(diǎn)云中孔洞區(qū)域用變形后的待測(cè)物點(diǎn)云模型中的點(diǎn)云來替換以實(shí)現(xiàn)對(duì)孔洞的填補(bǔ)。

在實(shí)現(xiàn)本發(fā)明的過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有的技術(shù)至少存在如下的問題：1)操作復(fù)雜：需要計(jì)算點(diǎn)云特征，并對(duì)點(diǎn)云模板進(jìn)行縮放；2)耗時(shí)長(zhǎng)：ICP配準(zhǔn)算法通過不斷的迭代計(jì)算兩個(gè)點(diǎn)云數(shù)據(jù)之間的旋轉(zhuǎn)平移矩陣，通過這組矩陣將不同坐標(biāo)系下的兩組點(diǎn)云數(shù)據(jù)或者是多組點(diǎn)云數(shù)據(jù)統(tǒng)一到同一參考坐標(biāo)系下，算法的耗時(shí)長(zhǎng)；3)使用局限：由于ICP算法的初始參數(shù)的設(shè)置問題，可能造成誤匹配的情況發(fā)生，難以保證高質(zhì)量的點(diǎn)云孔洞填補(bǔ)，還可能存在誤填補(bǔ)等問題。生成對(duì)抗網(wǎng)絡(luò)是當(dāng)今一種主流的無監(jiān)督型深度學(xué)習(xí)模型，具有廣闊的應(yīng)用前景。

發(fā)明內(nèi)容

本發(fā)明的目的在于解決現(xiàn)有孔洞填補(bǔ)方式操作復(fù)雜、耗時(shí)長(zhǎng)、恢復(fù)質(zhì)量難以保障的問題，提出一種操作簡(jiǎn)單、點(diǎn)云數(shù)據(jù)恢復(fù)的速度快及精度高的基于生成對(duì)抗網(wǎng)絡(luò)的三維掃描點(diǎn)云孔洞填補(bǔ)方法。

本發(fā)明所要解決的問題是由以下技術(shù)方案實(shí)現(xiàn)的：

一種基于生成對(duì)抗網(wǎng)絡(luò)的三維掃描點(diǎn)云孔洞填補(bǔ)方法，具體步驟如下：

步驟S10，獲取樣本集，所述樣本集包括：完整點(diǎn)云數(shù)據(jù)和殘缺點(diǎn)云數(shù)據(jù)；

步驟S20，獲取生成對(duì)抗網(wǎng)絡(luò)，通過所述生成對(duì)抗網(wǎng)絡(luò)模型、完整點(diǎn)云數(shù)據(jù)和殘缺點(diǎn)云數(shù)據(jù)確定訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型參數(shù)；

步驟S30，獲取待填補(bǔ)的點(diǎn)云數(shù)據(jù)，通過待填補(bǔ)的點(diǎn)云數(shù)據(jù)和所述訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型確定填補(bǔ)之后完整的點(diǎn)云數(shù)據(jù)。

優(yōu)選的是，所述步驟S10的具體過程如下：

步驟S101，獲取完整點(diǎn)云數(shù)據(jù)；

步驟S102，通過所述完整點(diǎn)云數(shù)據(jù)獲取殘缺點(diǎn)云數(shù)據(jù)；

優(yōu)選的是，所述步驟S20的具體過程如下：

步驟S201，獲取卷積神經(jīng)網(wǎng)絡(luò)模型,

步驟S202，通過所述卷積神經(jīng)網(wǎng)絡(luò)模型確定生成對(duì)抗網(wǎng)絡(luò)的生成模型和判別模型；

步驟S203，通過所述生成對(duì)抗網(wǎng)絡(luò)的生成模型和判別模型確定生成對(duì)抗網(wǎng)絡(luò)；