[發明專利]三維時序圖像神經網絡模型的訓練方法和裝置

在審

• 申請號: 202110349374.4
• 申請日: 2021-03-31
• 公開（公告）號: CN112967388A
• 公開（公告）日: 2021-06-15
• 發明（設計）人: 王建城;劉智勇;喬紅;尹威華;鄒俊成
• 申請（專利權）人: 東莞中國科學院云計算產業技術創新與育成中心
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 廣州華進聯合專利商標代理有限公司 44224
• 代理人: 方高明

本申請涉及一種三維時序圖像神經網絡模型的訓練方法和裝置。方法包括：獲取第一時刻的樣本三維圖像、第二時刻的樣本三維圖像和第三時刻的樣本三維圖像；將第一時刻的樣本三維圖像和第二時刻的樣本三維圖像輸入初始三維時序圖像神經網絡模型進行預測，得到第三時刻的預測三維圖像；比較第三時刻的預測三維圖像和第三時刻的樣本三維圖像，得到深度信息損失、顏色信息損失和高維信息損失；根據深度信息損失、顏色信息損失和高維信息損失得到綜合損失；根據綜合損失調整初始三維時序圖像神經網絡模型的權重，繼續訓練，滿足預設條件時，得到訓練后的三維時序圖像神經網絡模型。本方案能夠提高三維圖像的預測精度。

技術領域

本申請涉及三維圖像處理技術領域，特別是涉及一種三維時序圖像神經網絡模型的訓練方法和裝置。

背景技術

隨著深度學習技術、硬件技術的發展，三維神經網絡技術快速發展，已廣泛應用于多個領域，如工業中引導機器人控制、輔助智能汽車自動駕駛以及三維工件的缺陷檢測等領域。例如，當工業機器人搭載工業相機抓取目標遇到遮擋時，可以使用三維生成網絡生成出目標未被遮擋的狀態，以引導機器人完成操作。當無人車自動駕駛時突然有另一臺車的部分駛入視野范圍，可以通過三維生成網絡預測生成駛入車輛可能的行駛路徑，以輔助無人車提前減速。

三維圖像神經網絡在使用之前需要經過訓練以提高神經網絡生成的準確性。傳統的圖像神經網絡訓練所得到的神經網絡模型生成的預測圖像精度不高。

發明內容

基于此，有必要針對上述技術問題，提供一種能夠提高三維時序圖像預測精度的三維時序圖像神經網絡模型的訓練方法和裝置。

一種三維時序圖像神經網絡模型的訓練方法，包括：

獲取第一時刻的樣本三維圖像、第二時刻的樣本三維圖像和第三時刻的樣本三維圖像；

將第一時刻的樣本三維圖像和第二時刻的樣本三維圖像輸入初始三維時序圖像神經網絡模型進行預測，得到第三時刻的預測三維圖像；

比較第三時刻的預測三維圖像和第三時刻的樣本三維圖像，得到深度信息損失、顏色信息損失和高維信息損失；

根據深度信息損失、顏色信息損失和高維信息損失得到綜合損失；

根據綜合損失調整初始三維時序圖像神經網絡模型的權重，繼續訓練，滿足預設條件時，得到訓練后的三維時序圖像神經網絡模型。

在其中一個實施例中，獲取第一時刻的樣本三維圖像、第二時刻的樣本三維圖像和第三時刻的樣本三維圖像，包括：

獲取拍攝對象在第一時刻、第二時刻和第三時刻的樣本圖像，第一時刻、第二時刻和第三時刻是三個連續時刻；

獲取拍攝對象在第一時刻、第二時刻和第三時刻的樣本圖像的深度信息和顏色信息；

根據拍攝對象在第一時刻、第二時刻和第三時刻的樣本圖像的深度信息和顏色信息，對拍攝對象在第一時刻、第二時刻和第三時刻的樣本圖像進行三維重建，得到第一時刻的樣本三維圖像、第二時刻的樣本三維圖像和第三時刻的樣本三維圖像。

在其中一個實施例中，根據深度信息損失、顏色信息損失和高維信息損失得到綜合損失，包括：

將深度信息損失、顏色信息損失和高維信息損失進行加權求和，得到綜合損失。

在其中一個實施例中，深度信息損失為第三時刻的預測三維圖像中的深度信息與第三時刻的樣本三維圖像中的深度信息之間差值的絕對值；顏色信息損失為高維信息損失為第三時刻的預測三維圖像中的顏色信息與第三時刻的樣本三維圖像中的顏色信息之間差值的絕對值；高維信息損失為第三時刻的預測三維圖像和第三時刻的樣本三維圖像經過三維卷積神經網絡處理后的損失值。

一種三維時序圖像生成方法，包括：

獲取兩個連續時刻的三維圖像；