[發(fā)明專利]深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110723163.2
• 申請(qǐng)日: 2021-06-28
• 公開（公告）號(hào): CN113592932A
• 公開（公告）日: 2021-11-02
• 發(fā)明（設(shè)計(jì)）人: 蔣旻悅;譚嘯;孫昊
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06T7/50
• 分類號(hào): G06T7/50
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張夢(mèng)瑤

本公開提供了一種深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能領(lǐng)域，具體涉及計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)，具體可用于3D視覺場(chǎng)景下。具體實(shí)施方案為，將第一樣本圖像和第一樣本圖像的第一點(diǎn)云數(shù)據(jù)輸入第一深度補(bǔ)全網(wǎng)絡(luò)中進(jìn)行深度補(bǔ)全，以輸出第一樣本圖像的第一補(bǔ)全點(diǎn)云數(shù)據(jù)，并將第一樣本圖像和第一樣本圖像的第二點(diǎn)云數(shù)據(jù)，以及第一樣本圖像的第一補(bǔ)全點(diǎn)云數(shù)據(jù)，確定為第二深度補(bǔ)全網(wǎng)絡(luò)的第一訓(xùn)練樣本，而后基于第一訓(xùn)練樣本對(duì)第二深度補(bǔ)全網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以生成目標(biāo)第二深度補(bǔ)全網(wǎng)絡(luò)。從而能夠利用大量無標(biāo)注數(shù)據(jù)和少量標(biāo)注數(shù)據(jù)，優(yōu)化目標(biāo)第二深度補(bǔ)全網(wǎng)絡(luò)，有效降低深度補(bǔ)全的誤差，提高深度補(bǔ)全精度。

技術(shù)領(lǐng)域

本公開涉及人工智能技術(shù)領(lǐng)域，具體涉及計(jì)算機(jī)視覺和深度學(xué)習(xí)技術(shù)，可用于3D視覺場(chǎng)景下。

背景技術(shù)

隨著計(jì)算機(jī)視覺在自主駕輸、機(jī)器人、運(yùn)動(dòng)規(guī)劃和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域的迅速發(fā)展，深度估計(jì)已成為一個(gè)研究熱點(diǎn)。

目前，市面上的各種傳感器主要包括紅綠藍(lán)色彩模式(Red Green Blue，RGB)相機(jī)、基于結(jié)構(gòu)光的傳感器和激光雷達(dá)，都有其自身的局限性，影響了深度圖的可靠性。為了克服這些局限性，已有許多研究利用給定的稀疏深度測(cè)量來獲得一個(gè)密集的深度圖，稱為深度補(bǔ)全。

發(fā)明內(nèi)容

本公開提供了一種用于深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

根據(jù)本公開的第一方面，提供了一種深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法，包括：將第一樣本圖像和所述第一樣本圖像的第一點(diǎn)云數(shù)據(jù)輸入第一深度補(bǔ)全網(wǎng)絡(luò)中進(jìn)行深度補(bǔ)全，以輸出所述第一樣本圖像的第一補(bǔ)全點(diǎn)云數(shù)據(jù)；將所述第一樣本圖像和所述第一樣本圖像的第二點(diǎn)云數(shù)據(jù)，以及所述第一樣本圖像的第一補(bǔ)全點(diǎn)云數(shù)據(jù)，確定為第二深度補(bǔ)全網(wǎng)絡(luò)的第一訓(xùn)練樣本，其中，所述第一點(diǎn)云數(shù)據(jù)的點(diǎn)云密度要大于所述第二點(diǎn)云數(shù)據(jù)的點(diǎn)云密度；基于所述第一訓(xùn)練樣本對(duì)所述第二深度補(bǔ)全網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以生成目標(biāo)第二深度補(bǔ)全網(wǎng)絡(luò)。

根據(jù)本公開的第二方面，提供了一種圖像的深度信息補(bǔ)全方法，包括：獲取待補(bǔ)全深度信息的目標(biāo)圖像和所述目標(biāo)圖像的點(diǎn)云數(shù)據(jù)；將所述目標(biāo)圖像和所述點(diǎn)云數(shù)據(jù)輸入到目標(biāo)第二深度補(bǔ)全模型中進(jìn)行預(yù)測(cè)，輸出所述目標(biāo)圖像的補(bǔ)全點(diǎn)云數(shù)據(jù)；其中，所述目標(biāo)第二深度補(bǔ)全模型為上述一方面實(shí)施例所述的深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法訓(xùn)練出的模型。

根據(jù)本公開的第三方面，提供了一種深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練裝置，包括：輸入模塊，用于將第一樣本圖像和所述第一樣本圖像的第一點(diǎn)云數(shù)據(jù)輸入第一深度補(bǔ)全網(wǎng)絡(luò)中進(jìn)行深度補(bǔ)全，以輸出所述第一樣本圖像的第一補(bǔ)全點(diǎn)云數(shù)據(jù)；確定模塊，用于將所述第一樣本圖像和所述第一樣本圖像的第二點(diǎn)云數(shù)據(jù)，以及所述第一樣本圖像的第一補(bǔ)全點(diǎn)云數(shù)據(jù)，確定為第二深度補(bǔ)全網(wǎng)絡(luò)的第一訓(xùn)練樣本；生成模塊，用于基于所述第一訓(xùn)練樣本對(duì)所述第二深度補(bǔ)全網(wǎng)絡(luò)進(jìn)行訓(xùn)練，以生成目標(biāo)第二深度補(bǔ)全網(wǎng)絡(luò)。

根據(jù)本公開的第四方面，提供了一種圖像的深度信息補(bǔ)全裝置，包括：獲取模塊，用于獲取待補(bǔ)全深度信息的目標(biāo)圖像和所述目標(biāo)圖像的點(diǎn)云數(shù)據(jù)；預(yù)測(cè)模塊，用于將所述目標(biāo)圖像和所述點(diǎn)云數(shù)據(jù)輸入到目標(biāo)第二深度補(bǔ)全網(wǎng)絡(luò)中進(jìn)行預(yù)測(cè)，輸出所述目標(biāo)圖像的補(bǔ)全點(diǎn)云數(shù)據(jù)；其中，所述目標(biāo)第二深度補(bǔ)全網(wǎng)絡(luò)為采用上述一方面實(shí)施例所述的深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法訓(xùn)練出的網(wǎng)絡(luò)。

根據(jù)本公開的第五方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行上述一方面實(shí)施例所述的深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法。

根據(jù)本公開第六方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行上述一方面實(shí)施例所述的深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法。

根據(jù)本公開的第七方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)上述一方面實(shí)施例所述的深度補(bǔ)全網(wǎng)絡(luò)的訓(xùn)練方法。