[發(fā)明專(zhuān)利]模型訓(xùn)練、點(diǎn)云缺失補(bǔ)全方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111129999.6
• 申請(qǐng)日: 2021-09-26
• 公開(kāi)（公告）號(hào): CN113850916A
• 公開(kāi)（公告）日: 2021-12-28
• 發(fā)明（設(shè)計(jì)）人: 盧麗華;魏輝;李茹楊;趙雅倩;李仁剛
• 申請(qǐng)（專(zhuān)利權(quán)）人: 浪潮電子信息產(chǎn)業(yè)股份有限公司
• 主分類(lèi)號(hào): G06T17/20
• 分類(lèi)號(hào): G06T17/20;G06T5/00
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張雪嬌

本申請(qǐng)公開(kāi)了模型訓(xùn)練、點(diǎn)云缺失補(bǔ)全方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，模型訓(xùn)練方法包括：獲取訓(xùn)練缺失點(diǎn)云數(shù)據(jù)；將訓(xùn)練缺失點(diǎn)云數(shù)據(jù)輸入初始模型，得到訓(xùn)練修復(fù)點(diǎn)云數(shù)據(jù)，并基于訓(xùn)練修復(fù)點(diǎn)云數(shù)據(jù)和訓(xùn)練缺失點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的原始點(diǎn)云數(shù)據(jù)調(diào)整初始模型的參數(shù)；若檢測(cè)到滿(mǎn)足訓(xùn)練完成條件，則確定初始模型為點(diǎn)云補(bǔ)全模型；其中，初始模型包括目標(biāo)重構(gòu)網(wǎng)絡(luò)和初始生成網(wǎng)絡(luò)，目標(biāo)重構(gòu)網(wǎng)絡(luò)包括目標(biāo)編碼網(wǎng)絡(luò)，目標(biāo)編碼網(wǎng)絡(luò)利用訓(xùn)練缺失點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)比學(xué)習(xí)，訓(xùn)練缺失點(diǎn)云數(shù)據(jù)輸入目標(biāo)編碼網(wǎng)絡(luò)得到輸入特征，輸入特征輸入初始生成網(wǎng)絡(luò)得到缺失點(diǎn)云數(shù)據(jù)，缺失點(diǎn)云數(shù)據(jù)用于生成訓(xùn)練修復(fù)點(diǎn)云數(shù)據(jù)；提高了補(bǔ)全處理后的處理后點(diǎn)云數(shù)據(jù)的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別涉及模型訓(xùn)練、點(diǎn)云缺失補(bǔ)全方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

三維重建技術(shù)將三維的物體在虛擬世界中重建出來(lái)，是VR/AR(VirtualReality，虛擬現(xiàn)實(shí)/Augmented Reality，增強(qiáng)現(xiàn)實(shí))等三維視覺(jué)技術(shù)的實(shí)現(xiàn)基礎(chǔ)。近年來(lái)，隨著傳感器、深度學(xué)習(xí)等的發(fā)展，三維點(diǎn)云已經(jīng)成為三維重建結(jié)果的主流表示方式。但是，由于物體間相互遮擋、硬件設(shè)備技術(shù)限制等原因，基于點(diǎn)云的三維重建結(jié)果存在孔洞或形狀結(jié)構(gòu)的缺失。目前，有研究工作提出基于點(diǎn)的補(bǔ)全方法，可以直接處理點(diǎn)云數(shù)據(jù)并獲取點(diǎn)云特征，并通過(guò)基于全連接或者折疊的解碼器，預(yù)測(cè)完整三維點(diǎn)云或者缺失點(diǎn)云，修復(fù)補(bǔ)全三維重建結(jié)果。相比于體素模型表示，直接輸入點(diǎn)云減少了輸入數(shù)據(jù)量和神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模，使得網(wǎng)絡(luò)訓(xùn)練速度得到極大提高。然而，相關(guān)技術(shù)對(duì)存在缺失的輸入點(diǎn)云提取特征，得到輸入點(diǎn)云的特征表示，僅能從已有數(shù)據(jù)的角度進(jìn)行數(shù)據(jù)修復(fù)，從而降低了模型生成的補(bǔ)全數(shù)據(jù)的準(zhǔn)確性。

因此，相關(guān)技術(shù)存在的數(shù)據(jù)準(zhǔn)確性低的問(wèn)題，是本領(lǐng)域技術(shù)人員需要解決的技術(shù)問(wèn)題。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)的目的在于提供模型訓(xùn)練、點(diǎn)云缺失補(bǔ)全方法、裝置、電子設(shè)備及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，提高了補(bǔ)全處理后的處理后點(diǎn)云數(shù)據(jù)的準(zhǔn)確性。

為解決上述技術(shù)問(wèn)題，本申請(qǐng)?zhí)峁┝艘环N模型訓(xùn)練方法，包括：

獲取訓(xùn)練缺失點(diǎn)云數(shù)據(jù)；

將所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)輸入初始模型，得到訓(xùn)練修復(fù)點(diǎn)云數(shù)據(jù)，并基于所述訓(xùn)練修復(fù)點(diǎn)云數(shù)據(jù)和所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)對(duì)應(yīng)的原始點(diǎn)云數(shù)據(jù)調(diào)整所述初始模型的參數(shù)；

若檢測(cè)到滿(mǎn)足訓(xùn)練完成條件，則確定所述初始模型為點(diǎn)云補(bǔ)全模型；

其中，所述初始模型包括目標(biāo)重構(gòu)網(wǎng)絡(luò)和初始生成網(wǎng)絡(luò)，所述目標(biāo)重構(gòu)網(wǎng)絡(luò)包括目標(biāo)編碼網(wǎng)絡(luò)，所述目標(biāo)編碼網(wǎng)絡(luò)利用所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)進(jìn)行對(duì)比學(xué)習(xí)，所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)輸入所述目標(biāo)編碼網(wǎng)絡(luò)得到輸入特征，所述輸入特征輸入所述初始生成網(wǎng)絡(luò)得到缺失點(diǎn)云數(shù)據(jù)，所述缺失點(diǎn)云數(shù)據(jù)用于生成所述訓(xùn)練修復(fù)點(diǎn)云數(shù)據(jù)。

可選地，所述初始模型的生成過(guò)程，包括：

利用所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)對(duì)初始重構(gòu)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，得到所述目標(biāo)重構(gòu)網(wǎng)絡(luò)；

利用所述目標(biāo)重構(gòu)網(wǎng)絡(luò)與所述初始生成網(wǎng)絡(luò)組合得到所述初始模型。

可選地，所述利用所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)對(duì)初始重構(gòu)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，得到所述目標(biāo)重構(gòu)網(wǎng)絡(luò)，包括：

從所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)中確定錨點(diǎn)點(diǎn)云；

基于所述錨點(diǎn)點(diǎn)云，將所述訓(xùn)練缺失點(diǎn)云數(shù)據(jù)輸入所述初始重構(gòu)網(wǎng)絡(luò)，得到目標(biāo)數(shù)據(jù)；其中，所述目標(biāo)數(shù)據(jù)包括所述輸入特征和重構(gòu)點(diǎn)云數(shù)據(jù)；

利用所述輸入特征得到對(duì)比學(xué)習(xí)損失值，利用所述重構(gòu)點(diǎn)云數(shù)據(jù)得到重建損失值，并利用所述對(duì)比學(xué)習(xí)損失值和所述重建損失值對(duì)所述初始重構(gòu)網(wǎng)絡(luò)進(jìn)行參數(shù)調(diào)整；

若檢測(cè)到滿(mǎn)足預(yù)訓(xùn)練完成條件，則確定所述初始重構(gòu)網(wǎng)絡(luò)為所述目標(biāo)重構(gòu)網(wǎng)絡(luò)。