[發明專利]三維關鍵點預測及深度學習模型訓練方法、裝置及設備

有效

• 申請號: 201911414537.1
• 申請日: 2019-12-31
• 公開（公告）號: CN111179419B
• 公開（公告）日: 2023-09-05
• 發明（設計）人: 劉思陽
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/50;G06T7/00
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 李欣;丁蕓

本申請實施例提供了三維關鍵點預測及深度學習模型訓練方法、裝置及設備，該方法包括：獲取包含待檢測對象的RGB圖像及深度圖像；基于RGB圖像，得到待檢測對象的二維關鍵點信息及每個二維關鍵點對應的熱度圖像；利用預先訓練的深度學習模型，對RGB圖像、二維關鍵點信息、深度圖像及熱度圖像進行關聯分析，得到待檢測對象的三維關鍵點信息的預測值。利用深度學習模型對待檢測對象的RGB圖像、二維關鍵點信息、深度圖像及熱度圖像進行關聯分析，相比于僅對二維關鍵點信息進行分析，能夠從RGB圖像、熱度圖像及深度圖像中獲取除二維關鍵點信息外的其他用于預測三維關鍵點信息的數據，從而能夠提高三維關鍵點信息預測的準確性。

技術領域

本申請涉及計算機技術領域，特別是涉及三維關鍵點預測及深度學習模型訓練方法、裝置及設備。

背景技術

隨著計算機視覺技術的發展，特別是深度學習算法的出現，基于圖像的人工智能技術快速崛起。

3D(Dimension，維度)關鍵點的識別是計算機視覺領域中的一個分支算法，可用于人體意圖識別，人體3D重建，人體動作捕捉等應用。隨著深度學習算法的發展，2D關鍵點算法逐漸成熟，但在預測人體的3D關鍵點任務上，仍存在很多問題。

現有利用2D圖像提取3D關鍵點的技術中，首先對2D圖像進行分析獲取2D關鍵點，然后通過將2D關鍵點的坐標信息輸入到預先訓練的深度學習算法中去預測3D關鍵點的位置坐標，但是因為2D關鍵點本身包含的信息有限，導致3D關鍵點信息的預測準確性差。

發明內容

本申請實施例的目的在于提供一種三維關鍵點預測及深度學習模型訓練方法、裝置及設備，以實現提高3D關鍵點信息預測的準確度。具體技術方案如下：

第一方面，本申請實施例提供了一種三維關鍵點預測方法，所述方法包括：

獲取包含待檢測對象的RGB圖像及深度圖像；

基于所述RGB圖像，得到所述待檢測對象的二維關鍵點信息及每個二維關鍵點對應的熱度圖像；

利用預先訓練的深度學習模型，對所述RGB圖像、所述二維關鍵點信息、所述深度圖像及所述熱度圖像進行關聯分析，得到所述待檢測對象的三維關鍵點信息的預測值。

在一種可能的實施方式中，所述利用預先訓練的深度學習模型，對所述RGB圖像、所述二維關鍵點信息、所述深度圖像及所述熱度圖像進行關聯分析，得到所述待檢測對象的三維關鍵點信息的預測值，包括：

利用預先訓練的深度學習模型，對所述RGB圖像的矩陣及所述熱度圖像的矩陣進行拼接，得到目標拼接矩陣；

對所述目標拼接矩陣進行特征提取，得到初始圖像特征；

對所述初始圖像特征進行維度變換，得到目標圖像特征；

根據所述深度圖像及所述二維關鍵點信息，獲取所述二維關鍵點信息中各關鍵點的深度信息，并對各所述關鍵點的深度信息進行特征提取，得到目標深度特征；

對所述二維關鍵點信息進行特征提取，得到目標關鍵點特征；

對所述目標圖像特征、所述目標深度特征及所述目標關鍵點特征進行拼接，并利用拼接后的特征進行預測，得到所述待檢測對象的三維關鍵點信息的預測值。

第二方面，本申請實施例提供了一種深度學習模型訓練方法，所述方法包括：

獲取待訓練的深度學習模型；

在預設樣本集合中選取一組樣本圖像組，其中，所述樣本圖像組包括樣本RGB圖像、樣本深度圖像、樣本二維關鍵點信息、每個樣本二維關鍵點對應的樣本熱度圖像及真值三維關鍵點信息，所述樣本二維關鍵點信息通過對所述樣本RGB圖像進行二維關鍵點檢測得到；