[發(fā)明專利]三維關(guān)鍵點預(yù)測及深度學(xué)習(xí)模型訓(xùn)練方法、裝置及設(shè)備

有效

• 申請?zhí)枺?/td>: 201911414537.1
• 申請日: 2019-12-31
• 公開（公告）號: CN111179419B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計）人: 劉思陽
• 申請（專利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06T7/50;G06T7/00
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 李欣;丁蕓

1.一種三維關(guān)鍵點預(yù)測方法，其特征在于，所述方法包括：

獲取包含待檢測對象的RGB圖像及深度圖像；

基于所述RGB圖像，得到所述待檢測對象的二維關(guān)鍵點信息及每個二維關(guān)鍵點對應(yīng)的熱度圖像；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對所述RGB圖像、所述二維關(guān)鍵點信息、所述深度圖像及所述熱度圖像進行關(guān)聯(lián)分析，得到所述待檢測對象的三維關(guān)鍵點信息的預(yù)測值；

所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對所述RGB圖像、所述二維關(guān)鍵點信息、所述深度圖像及所述熱度圖像進行關(guān)聯(lián)分析，得到所述待檢測對象的三維關(guān)鍵點信息的預(yù)測值，包括：

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對所述RGB圖像的矩陣及所述熱度圖像的矩陣進行拼接，得到目標(biāo)拼接矩陣；

對所述目標(biāo)拼接矩陣進行特征提取，得到初始圖像特征；

對所述初始圖像特征進行維度變換，得到目標(biāo)圖像特征；

根據(jù)所述深度圖像及所述二維關(guān)鍵點信息，獲取所述二維關(guān)鍵點信息中各關(guān)鍵點的深度信息，并對各所述關(guān)鍵點的深度信息進行特征提取，得到目標(biāo)深度特征；

對所述二維關(guān)鍵點信息進行特征提取，得到目標(biāo)關(guān)鍵點特征；

對所述目標(biāo)圖像特征、所述目標(biāo)深度特征及所述目標(biāo)關(guān)鍵點特征進行拼接，并利用拼接后的特征進行預(yù)測，得到所述待檢測對象的三維關(guān)鍵點信息的預(yù)測值。

2.一種深度學(xué)習(xí)模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取待訓(xùn)練的深度學(xué)習(xí)模型；

在預(yù)設(shè)樣本集合中選取一組樣本圖像組，其中，所述樣本圖像組包括樣本RGB圖像、樣本深度圖像、樣本二維關(guān)鍵點信息、每個樣本二維關(guān)鍵點對應(yīng)的樣本熱度圖像及真值三維關(guān)鍵點信息，所述樣本二維關(guān)鍵點信息通過對所述樣本RGB圖像進行二維關(guān)鍵點檢測得到；

利用所述深度學(xué)習(xí)模型，對當(dāng)前選取的樣本RGB圖像、樣本深度圖像、樣本熱度圖像及樣本二維關(guān)鍵點信息進行關(guān)聯(lián)分析，得到預(yù)測三維關(guān)鍵點信息；

根據(jù)所述真值三維關(guān)鍵點信息及所述預(yù)測三維關(guān)鍵點信息，計算所述深度學(xué)習(xí)模型的當(dāng)前損失；

在所述深度學(xué)習(xí)模型的當(dāng)前損失未收斂時，按照所述當(dāng)前損失，調(diào)整所述深度學(xué)習(xí)模型的參數(shù)，并在所述預(yù)設(shè)樣本集合中選取一組樣本圖像組繼續(xù)訓(xùn)練，直至所述深度學(xué)習(xí)模型的損失收斂，得到訓(xùn)練好的深度學(xué)習(xí)模型；

所述利用所述深度學(xué)習(xí)模型，對當(dāng)前選取的樣本RGB圖像、樣本深度圖像、樣本熱度圖像及樣本二維關(guān)鍵點信息進行關(guān)聯(lián)分析，得到預(yù)測三維關(guān)鍵點信息，包括：

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對所述樣本RGB圖像的矩陣及所述樣本熱度圖像的矩陣進行拼接，得到樣本拼接矩陣；

對所述樣本拼接矩陣進行特征提取，得到初始樣本圖像特征；

對所述初始樣本圖像特征進行維度變換，得到目標(biāo)樣本圖像特征；

根據(jù)所述樣本深度圖像及所述樣本二維關(guān)鍵點信息，獲取所述樣本二維關(guān)鍵點信息中各關(guān)鍵點的深度信息，并對各所述關(guān)鍵點的深度信息進行特征提取，得到目標(biāo)樣本深度特征；

對所述樣本二維關(guān)鍵點信息進行特征提取，得到目標(biāo)樣本關(guān)鍵點特征；

對所述目標(biāo)樣本圖像特征、所述目標(biāo)樣本深度特征及所述目標(biāo)樣本關(guān)鍵點特征進行拼接，并利用拼接后的特征進行預(yù)測，得到預(yù)測三維關(guān)鍵點信息。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述根據(jù)所述真值三維關(guān)鍵點信息及所述預(yù)測三維關(guān)鍵點信息，計算所述深度學(xué)習(xí)模型的當(dāng)前損失，包括：

對所述預(yù)測三維關(guān)鍵點信息進行投影，得到預(yù)測二維關(guān)鍵點信息；

基于所述樣本二維關(guān)鍵點信息及所述預(yù)測二維關(guān)鍵點信息，計算二維關(guān)鍵點損失；

基于所述真值三維關(guān)鍵點信息及所述預(yù)測三維關(guān)鍵點信息，計算三維關(guān)鍵點損失；

基于所述二維關(guān)鍵點損失及所述三維關(guān)鍵點損失，計算所述深度學(xué)習(xí)模型的當(dāng)前損失。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述基于所述二維關(guān)鍵點損失及所述三維關(guān)鍵點損失，計算所述深度學(xué)習(xí)模型的當(dāng)前損失，包括：

利用預(yù)設(shè)二維關(guān)鍵點權(quán)重乘以所述二維關(guān)鍵點損失，利用預(yù)設(shè)三維關(guān)鍵點權(quán)重乘以所述三維關(guān)鍵點損失，并對得到的乘積求和，得到所述深度學(xué)習(xí)模型的當(dāng)前損失。