[發明專利]一種深度估計網絡訓練方法、裝置、設備及存儲介質

在審

• 申請號: 202211596702.1
• 申請日: 2022-12-12
• 公開（公告）號: CN115830093A
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 張小燕;李千林
• 申請（專利權）人: 深圳大學
• 主分類號: G06T7/55
• 分類號: G06T7/55;G06N3/0442;G06N3/08
• 代理公司: 深圳青年人專利商標代理有限公司 44350
• 代理人: 吳桂華

本發明適用人工智能技術領域，提供了一種深度估計網絡訓練方法、裝置、設備及存儲介質，方法包括：將人體RGB圖像集以及每個RGB圖像的17個關節點坐標作為第一堆疊沙漏網絡的輸入，對第一堆疊沙漏網絡進行訓練；獲取連續視頻幀圖像以及連續視頻幀圖像的法線貼圖；將連續視頻幀圖像以及法線貼圖輸入訓練好的第一堆疊沙漏網絡和包括第二堆疊沙漏網絡以及cLSTM網絡的深度估計網絡，根據第一堆疊沙漏網絡和深度估計網絡的輸出，獲取深度估計網絡的當前次估計誤差；當當前次估計誤差不符合第一預設條件時，根據當前次估計誤差，對深度估計網絡的網絡參數進行更新，以繼續對深度估計網絡進行訓練，直至符合第一預設條件，以得到訓練好的深度估計網絡。

技術領域

本發明屬于人工智能技術領域，尤其涉及一種深度估計網絡訓練方法、裝置、設備及存儲介質。

背景技術

針對人體圖像的深度估計，目前基于相機等基礎設施拍攝得到的深度圖，尚不能精確的捕捉人體的幾何細節，而且受自然環境影響很大，容易造成深度圖的局部空洞甚至捕捉不到身體部位。大多數基于現有人體圖像的深度估計模型很難應對不同的人體姿態以及衣服細節，而且針對人體關節部位之間的深度秩序，目前的模型仍然存在扭曲(即身體部位之間的相對秩序不正確)的問題。同時，獲得野外各種真實深度圖難度更高。

發明內容

本發明的目的在于提供一種深度估計網絡訓練方法、裝置、設備及存儲介質，旨在解決由于現有技術無法提供一種有效的深度估計網絡訓練方法，導致基于視頻的人體圖像深度估計網絡的估計效果不佳的問題。

一方面，本發明提供了一種深度估計網絡訓練方法，所述方法包括下述步驟：

將人體RGB圖像集以及每個RGB圖像的17個關節點坐標作為第一堆疊沙漏網絡的輸入，對所述第一堆疊沙漏網絡進行訓練，得到訓練好的所述第一堆疊沙漏網絡；

獲取用于當前次訓練用的連續視頻幀圖像以及所述連續視頻幀圖像的法線貼圖；

將所述連續視頻幀圖像以及所述法線貼圖輸入所述訓練好的所述第一堆疊沙漏網絡和預先構建的深度估計網絡，獲取所述第一堆疊沙漏網絡和所述深度估計網絡的輸出，根據所述第一堆疊沙漏網絡和所述深度估計網絡的輸出，獲取所述深度估計網絡的當前次估計誤差，所述深度估計網絡包括第二堆疊沙漏網絡以及cLSTM網絡；

當所述當前次估計誤差不符合第一預設條件時，根據所述當前次估計誤差，對所述深度估計網絡的網絡參數進行更新，并跳轉至獲取用于當前次訓練用的連續視頻幀圖像以及所述連續視頻幀圖像的法線貼圖的步驟，以繼續對所述深度估計網絡進行訓練，直至符合所述第一預設條件，以得到訓練好的所述深度估計網絡。

另一方面，本發明提供了一種基于視頻的人體圖像深度估計方法，所述方法包括下述步驟：

從輸入的視頻文件中依次獲取預設數量的連續視頻幀圖像，獲取所述連續視頻幀圖像的法線貼圖；

將所述連續視頻幀圖像以及所述連續視頻幀圖像的法線貼圖輸入由上所述深度估計網絡訓練方法訓練得到的深度估計網絡，獲得所述連續視頻幀圖像的深度圖。

另一方面，本發明還提供了一種深度估計網絡訓練裝置，包括：

第一訓練單元，用于將人體RGB圖像集以及每個RGB圖像的17個關節點坐標作為第一堆疊沙漏網絡的輸入，對所述第一堆疊沙漏網絡進行訓練，得到訓練好的所述第一堆疊沙漏網絡；

圖像獲取單元，用于獲取用于當前次訓練用的連續視頻幀圖像以及所述連續視頻幀圖像的法線貼圖；

第一誤差獲取單元，用于將所述連續視頻幀圖像以及所述法線貼圖輸入所述訓練好的所述第一堆疊沙漏網絡和預先構建的深度估計網絡，獲取所述第一堆疊沙漏網絡和所述深度估計網絡的輸出，根據所述第一堆疊沙漏網絡和所述深度估計網絡的輸出，獲取所述深度估計網絡的當前次估計誤差，所述深度估計網絡包括第二堆疊沙漏網絡以及cLSTM網絡；以及