[發(fā)明專利]三維圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202110349381.4
• 申請(qǐng)日: 2021-03-31
• 公開(kāi)（公告）號(hào): CN112949761A
• 公開(kāi)（公告）日: 2021-06-11
• 發(fā)明（設(shè)計(jì)）人: 尹威華;劉智勇;喬紅;王建城;鄒俊成
• 申請(qǐng)（專利權(quán)）人: 東莞中國(guó)科學(xué)院云計(jì)算產(chǎn)業(yè)技術(shù)創(chuàng)新與育成中心
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 方高明

本申請(qǐng)涉及一種三維圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備。方法包括：獲取第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像；將第一時(shí)刻的樣本三維圖像和第二時(shí)刻的樣本三維圖像輸入初始三維圖像神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，得到第三時(shí)刻的預(yù)測(cè)三維圖像；比較第三時(shí)刻的預(yù)測(cè)三維圖像和第三時(shí)刻的樣本三維圖像，得到平均絕對(duì)誤差損失、姿態(tài)損失和位置損失；根據(jù)平均絕對(duì)誤差損失、姿態(tài)損失和位置損失得到綜合損失；根據(jù)綜合損失調(diào)整初始三維圖像神經(jīng)網(wǎng)絡(luò)模型的權(quán)重，繼續(xù)訓(xùn)練，滿足預(yù)設(shè)條件時(shí)，得到訓(xùn)練后的三維圖像神經(jīng)網(wǎng)絡(luò)模型。本方案能夠提高三維圖像的預(yù)測(cè)精度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及三維圖像處理技術(shù)領(lǐng)域，特別是涉及一種三維圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備。

背景技術(shù)

隨著深度學(xué)習(xí)技術(shù)、硬件技術(shù)的發(fā)展，三維神經(jīng)網(wǎng)絡(luò)技術(shù)快速發(fā)展，已廣泛應(yīng)用于多個(gè)領(lǐng)域，如工業(yè)中引導(dǎo)機(jī)器人控制、輔助智能汽車(chē)自動(dòng)駕駛以及三維工件的缺陷檢測(cè)等領(lǐng)域。例如，當(dāng)工業(yè)機(jī)器人搭載工業(yè)相機(jī)抓取目標(biāo)遇到遮擋時(shí)，可以使用三維生成網(wǎng)絡(luò)生成出目標(biāo)未被遮擋的狀態(tài)，以引導(dǎo)機(jī)器人完成操作。當(dāng)無(wú)人車(chē)自動(dòng)駕駛時(shí)突然有另一臺(tái)車(chē)的部分駛?cè)胍曇胺秶梢酝ㄟ^(guò)三維生成網(wǎng)絡(luò)預(yù)測(cè)生成駛?cè)胲?chē)輛可能的行駛路徑，以輔助無(wú)人車(chē)提前減速。

三維圖像神經(jīng)網(wǎng)絡(luò)在使用之前需要經(jīng)過(guò)訓(xùn)練以提高神經(jīng)網(wǎng)絡(luò)生成的準(zhǔn)確性。傳統(tǒng)技術(shù)中的圖像神經(jīng)網(wǎng)絡(luò)訓(xùn)練所得到的神經(jīng)網(wǎng)絡(luò)模型生成的預(yù)測(cè)圖像精度不高。

發(fā)明內(nèi)容

基于此，有必要針對(duì)上述技術(shù)問(wèn)題，提供一種能夠提高三維圖像預(yù)測(cè)精度的三維圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置和計(jì)算機(jī)設(shè)備。

一種三維圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，包括：

獲取第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像；

將第一時(shí)刻的樣本三維圖像和第二時(shí)刻的樣本三維圖像輸入初始三維圖像神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，得到第三時(shí)刻的預(yù)測(cè)三維圖像；

比較第三時(shí)刻的預(yù)測(cè)三維圖像和第三時(shí)刻的樣本三維圖像，得到平均絕對(duì)誤差損失、姿態(tài)損失和位置損失；

根據(jù)平均絕對(duì)誤差損失、姿態(tài)損失和位置損失得到綜合損失；

根據(jù)綜合損失調(diào)整初始三維圖像神經(jīng)網(wǎng)絡(luò)模型的權(quán)重，繼續(xù)訓(xùn)練，滿足預(yù)設(shè)條件時(shí)，得到訓(xùn)練后的三維圖像神經(jīng)網(wǎng)絡(luò)模型。

在其中一個(gè)實(shí)施例中，獲取第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像，包括：

獲取拍攝對(duì)象在第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像，第一時(shí)刻、第二時(shí)刻和第三時(shí)刻是三個(gè)連續(xù)時(shí)刻；

獲取拍攝對(duì)象在第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像的深度信息和顏色信息；

根據(jù)拍攝對(duì)象在第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像的深度信息和顏色信息，對(duì)拍攝對(duì)象在第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像進(jìn)行三維重建，得到第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像。

在其中一個(gè)實(shí)施例中，根據(jù)平均絕對(duì)誤差損失、姿態(tài)損失和位置損失得到綜合損失，包括：

將平均絕對(duì)誤差損失、姿態(tài)損失和位置損失進(jìn)行加權(quán)求和，得到綜合損失。

在其中一個(gè)實(shí)施例中，平均絕對(duì)誤差損失為第三時(shí)刻的預(yù)測(cè)三維圖像中的像素值與第三時(shí)刻的樣本三維圖像中的像素值之間的平均絕對(duì)誤差；姿態(tài)損失為第三時(shí)刻的預(yù)測(cè)三維圖像中目標(biāo)的像素值和第三時(shí)刻的樣本三維圖像中目標(biāo)的像素值一樣的個(gè)數(shù)與第三時(shí)刻的預(yù)測(cè)三維圖像或第三時(shí)刻的樣本三維圖像中目標(biāo)所包含像素值的個(gè)數(shù)的比值；位置損失為第三時(shí)刻的預(yù)測(cè)三維圖像和第三時(shí)刻的樣本三維圖像的三系位置坐標(biāo)差值的絕對(duì)值的和。

一種三維圖像生成方法，包括：