[發(fā)明專利]三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法和裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110349374.4
• 申請(qǐng)日: 2021-03-31
• 公開（公告）號(hào): CN112967388A
• 公開（公告）日: 2021-06-15
• 發(fā)明（設(shè)計(jì)）人: 王建城;劉智勇;喬紅;尹威華;鄒俊成
• 申請(qǐng)（專利權(quán)）人: 東莞中國科學(xué)院云計(jì)算產(chǎn)業(yè)技術(shù)創(chuàng)新與育成中心
• 主分類號(hào): G06T17/00
• 分類號(hào): G06T17/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進(jìn)聯(lián)合專利商標(biāo)代理有限公司 44224
• 代理人: 方高明

1.一種三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練方法，其特征在于，包括：

獲取第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像；

將所述第一時(shí)刻的樣本三維圖像和所述第二時(shí)刻的樣本三維圖像輸入初始三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，得到第三時(shí)刻的預(yù)測(cè)三維圖像；

比較所述第三時(shí)刻的預(yù)測(cè)三維圖像和所述第三時(shí)刻的樣本三維圖像，得到深度信息損失、顏色信息損失和高維信息損失；

根據(jù)所述深度信息損失、顏色信息損失和高維信息損失得到綜合損失；

根據(jù)所述綜合損失調(diào)整所述初始三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型的權(quán)重，繼續(xù)訓(xùn)練，滿足預(yù)設(shè)條件時(shí)，得到訓(xùn)練后的三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像，包括：

獲取拍攝對(duì)象在第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像，所述第一時(shí)刻、第二時(shí)刻和第三時(shí)刻是三個(gè)連續(xù)時(shí)刻；

獲取所述拍攝對(duì)象在所述第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像的深度信息和顏色信息；

根據(jù)所述拍攝對(duì)象在所述第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像的深度信息和顏色信息，對(duì)所述拍攝對(duì)象在第一時(shí)刻、第二時(shí)刻和第三時(shí)刻的樣本圖像進(jìn)行三維重建，得到所述第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述深度信息損失、顏色信息損失和高維信息損失得到綜合損失，包括：

將所述深度信息損失、顏色信息損失和高維信息損失進(jìn)行加權(quán)求和，得到綜合損失。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述深度信息損失為所述第三時(shí)刻的預(yù)測(cè)三維圖像中的深度信息與所述第三時(shí)刻的樣本三維圖像中的深度信息之間差值的絕對(duì)值；所述顏色信息損失為所述高維信息損失為第三時(shí)刻的預(yù)測(cè)三維圖像中的顏色信息與所述第三時(shí)刻的樣本三維圖像中的顏色信息之間差值的絕對(duì)值；所述高維信息損失為所述第三時(shí)刻的預(yù)測(cè)三維圖像和所述第三時(shí)刻的樣本三維圖像經(jīng)過三維卷積神經(jīng)網(wǎng)絡(luò)處理后的損失值。

5.一種三維時(shí)序圖像生成方法，其特征在于，包括：

獲取兩個(gè)連續(xù)時(shí)刻的三維圖像；

將所述兩個(gè)連續(xù)時(shí)刻的三維圖像輸入到訓(xùn)練后的三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，得到所述兩個(gè)連續(xù)時(shí)刻之后的下一個(gè)時(shí)刻的預(yù)測(cè)三維圖像；

其中，所述三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型是根據(jù)綜合損失進(jìn)行調(diào)整權(quán)重得到，所述綜合損失是根據(jù)樣本三維圖像與對(duì)應(yīng)預(yù)測(cè)三維圖像之間的深度信息損失、顏色信息損失和高維信息損失確定。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

獲取所述兩個(gè)連續(xù)時(shí)刻之后的下一個(gè)時(shí)刻的真實(shí)三維圖像；

根據(jù)所述兩個(gè)連續(xù)時(shí)刻之后的下一個(gè)時(shí)刻的真實(shí)三維圖像和預(yù)測(cè)三維圖像，檢測(cè)所述兩個(gè)連續(xù)時(shí)刻之后的下一個(gè)時(shí)刻的真實(shí)三維圖像中是否存在缺失部分，所述缺失部分是指被遮擋、有陰影或超出視野范圍的部分；

若所述兩個(gè)連續(xù)時(shí)刻之后的下一個(gè)時(shí)刻的真實(shí)三維圖像中存在缺失部分，輸出所述兩個(gè)連續(xù)時(shí)刻之后的下一個(gè)時(shí)刻的預(yù)測(cè)三維圖像。

7.一種三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練裝置，其特征在于，所述裝置包括：

樣本獲取模塊，用于獲取第一時(shí)刻的樣本三維圖像、第二時(shí)刻的樣本三維圖像和第三時(shí)刻的樣本三維圖像；

樣本預(yù)測(cè)模塊，用于將所述第一時(shí)刻的樣本三維圖像和所述第二時(shí)刻的樣本三維圖像輸入初始三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型進(jìn)行預(yù)測(cè)，得到第三時(shí)刻的預(yù)測(cè)三維圖像；

損失獲取模塊，用于比較所述第三時(shí)刻的預(yù)測(cè)三維圖像和所述第三時(shí)刻的樣本三維圖像，得到深度信息損失、顏色信息損失和高維信息損失；

損失計(jì)算模塊，用于根據(jù)所述深度信息損失、顏色信息損失和高維信息損失得到綜合損失；

權(quán)重調(diào)整模塊，用于根據(jù)所述綜合損失調(diào)整所述初始三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型的權(quán)重，繼續(xù)訓(xùn)練，滿足預(yù)設(shè)條件時(shí)，得到訓(xùn)練后的三維時(shí)序圖像神經(jīng)網(wǎng)絡(luò)模型。