[發(fā)明專利]一種深度估計(jì)網(wǎng)絡(luò)訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202211596702.1
• 申請(qǐng)日: 2022-12-12
• 公開(kāi)（公告）號(hào): CN115830093A
• 公開(kāi)（公告）日: 2023-03-21
• 發(fā)明（設(shè)計(jì)）人: 張小燕;李千林
• 申請(qǐng)（專利權(quán)）人: 深圳大學(xué)
• 主分類號(hào): G06T7/55
• 分類號(hào): G06T7/55;G06N3/0442;G06N3/08
• 代理公司: 深圳青年人專利商標(biāo)代理有限公司 44350
• 代理人: 吳桂華

1.一種深度估計(jì)網(wǎng)絡(luò)訓(xùn)練方法，其特征在于，所述方法包括下述步驟：

將人體RGB圖像集以及每個(gè)RGB圖像的17個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)作為第一堆疊沙漏網(wǎng)絡(luò)的輸入，對(duì)所述第一堆疊沙漏網(wǎng)絡(luò)進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述第一堆疊沙漏網(wǎng)絡(luò)；

獲取用于當(dāng)前次訓(xùn)練用的連續(xù)視頻幀圖像以及所述連續(xù)視頻幀圖像的法線貼圖；

將所述連續(xù)視頻幀圖像以及所述法線貼圖輸入所述訓(xùn)練好的所述第一堆疊沙漏網(wǎng)絡(luò)和預(yù)先構(gòu)建的深度估計(jì)網(wǎng)絡(luò)，獲取所述第一堆疊沙漏網(wǎng)絡(luò)和所述深度估計(jì)網(wǎng)絡(luò)的輸出，根據(jù)所述第一堆疊沙漏網(wǎng)絡(luò)和所述深度估計(jì)網(wǎng)絡(luò)的輸出，獲取所述深度估計(jì)網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差，所述深度估計(jì)網(wǎng)絡(luò)包括第二堆疊沙漏網(wǎng)絡(luò)以及cLSTM網(wǎng)絡(luò)；

當(dāng)所述當(dāng)前次估計(jì)誤差不符合第一預(yù)設(shè)條件時(shí)，根據(jù)所述當(dāng)前次估計(jì)誤差，對(duì)所述深度估計(jì)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行更新，并跳轉(zhuǎn)至獲取用于當(dāng)前次訓(xùn)練用的連續(xù)視頻幀圖像以及所述連續(xù)視頻幀圖像的法線貼圖的步驟，以繼續(xù)對(duì)所述深度估計(jì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至符合所述第一預(yù)設(shè)條件，以得到訓(xùn)練好的所述深度估計(jì)網(wǎng)絡(luò)。

2.如權(quán)利要求1所述的方法，其特征在于，將人體RGB圖像集以及每個(gè)RGB圖像的17個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)作為第一堆疊沙漏網(wǎng)絡(luò)的輸入，對(duì)所述第一堆疊沙漏網(wǎng)絡(luò)進(jìn)行訓(xùn)練的步驟，包括：

從所述人體RGB圖像集中獲取當(dāng)前次訓(xùn)練用人體RGB圖像以及17個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)；

將獲取的所述人體RGB圖像以及17個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)作為所述第一堆疊沙漏網(wǎng)絡(luò)的輸入，通過(guò)所述堆疊沙漏網(wǎng)絡(luò)獲取所述17個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)對(duì)應(yīng)關(guān)節(jié)點(diǎn)的深度值；

根據(jù)獲取的所述深度值與預(yù)設(shè)的目標(biāo)值，使用第一損失函數(shù)獲取所述第一堆疊沙漏網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差；

當(dāng)所述第一堆疊沙漏網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差不滿足符合第二預(yù)設(shè)條件時(shí)，根據(jù)所述第一堆疊沙漏網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差，對(duì)所述深度估計(jì)網(wǎng)絡(luò)的網(wǎng)絡(luò)參數(shù)進(jìn)行更新，并跳轉(zhuǎn)至從所述人體RGB圖像集中獲取當(dāng)前次訓(xùn)練用人體RGB圖像以及17個(gè)關(guān)節(jié)點(diǎn)坐標(biāo)的步驟，以繼續(xù)對(duì)所述第一堆疊沙漏網(wǎng)絡(luò)進(jìn)行訓(xùn)練，直至符合所述第二預(yù)設(shè)條件，以得到訓(xùn)練好的所述第一堆疊沙漏網(wǎng)絡(luò)。

3.如權(quán)利要求1所述的方法，其特征在于，將所述連續(xù)視頻幀圖像以及所述法線貼圖輸入所述訓(xùn)練好的所述第一堆疊沙漏網(wǎng)絡(luò)和預(yù)先構(gòu)建的深度估計(jì)網(wǎng)絡(luò)，獲取所述第一堆疊沙漏網(wǎng)絡(luò)和所述深度估計(jì)網(wǎng)絡(luò)的輸出，根據(jù)所述第一堆疊沙漏網(wǎng)絡(luò)和所述深度估計(jì)網(wǎng)絡(luò)的輸出，獲取所述深度估計(jì)網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差的步驟，包括：

將所述連續(xù)視頻幀圖像、所述法線貼圖輸入到所述第二堆疊沙漏網(wǎng)絡(luò)，獲得所述連續(xù)視頻幀圖像的空間特征圖；

將所述連續(xù)視頻幀圖像的空間特征圖輸入到所述cLSTM網(wǎng)絡(luò)，獲得所述連續(xù)視頻幀圖像的第一深度圖；

獲取所述第一深度圖的法線貼圖，并對(duì)每個(gè)所述第一深度圖進(jìn)行扭曲，得到所述連續(xù)視頻幀圖像中每個(gè)視頻幀圖像的下一幀圖像的第二深度圖；

將所述連續(xù)視頻幀圖像輸入到所述第一堆疊沙漏網(wǎng)絡(luò)，獲得所述連續(xù)視頻幀圖像的第三深度圖；

根據(jù)所述第一深度圖與所述第二深度圖、所述第一深度圖與所述第三深度圖、以及所述第一深度圖的法線貼圖與所述連續(xù)視頻幀圖像的法線貼圖，獲取所述深度估計(jì)網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差。

4.如權(quán)利要求3所述的方法，其特征在于，將所述連續(xù)視頻幀圖像的空間特征圖輸入到所述cLSTM網(wǎng)絡(luò)，獲得所述連續(xù)視頻幀圖像的第一深度圖的步驟，包括：

將當(dāng)前視頻幀圖像以及上一視頻幀圖像的空間特征圖輸入到所述cLSTM網(wǎng)絡(luò)，獲得所述當(dāng)前視頻幀圖像的第一深度圖。

5.如權(quán)利要求3所述的方法，其特征在于，根據(jù)所述第一深度圖與所述第二深度圖、所述第一深度圖與所述第三深度圖、以及所述第一深度圖的法線貼圖與所述連續(xù)視頻幀圖像的法線貼圖，獲取所述深度估計(jì)網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差的步驟，包括：

根據(jù)所述第一深度圖與所述第二深度圖，使用第二損失函數(shù)獲取所述深度估計(jì)網(wǎng)絡(luò)的第一估計(jì)誤差；

根據(jù)所述第一深度圖與所述第三深度圖，使用第三損失函數(shù)獲取所述深度估計(jì)網(wǎng)絡(luò)的第二估計(jì)誤差；

根據(jù)所述第一深度圖的法線貼圖與所述連續(xù)視頻幀圖像的法線貼圖，使用第四損失函數(shù)獲取所述深度估計(jì)網(wǎng)絡(luò)的第三估計(jì)誤差；

將所述第一估計(jì)誤差、第二估計(jì)誤差、第三估計(jì)誤差確定為所述深度估計(jì)網(wǎng)絡(luò)的當(dāng)前次估計(jì)誤差。