[發(fā)明專利]三維關(guān)鍵點預(yù)測及深度學(xué)習(xí)模型訓(xùn)練方法、裝置及設(shè)備

在審

• 申請?zhí)枺?/td>: 201911417835.6
• 申請日: 2019-12-31
• 公開（公告）號: CN111160375A
• 公開（公告）日: 2020-05-15
• 發(fā)明（設(shè)計）人: 劉思陽
• 申請（專利權(quán)）人: 北京奇藝世紀科技有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06K9/62
• 代理公司: 北京柏杉松知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 李欣;丁蕓

1.一種三維關(guān)鍵點預(yù)測方法，其特征在于，所述方法包括：

獲取包含待檢測對象的RGB圖像；

基于所述RGB圖像，獲取所述待檢測對象的二維關(guān)鍵點信息及每個二維關(guān)鍵點對應(yīng)的熱度圖像；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對所述RGB圖像、所述二維關(guān)鍵點信息及所述熱度圖像進行關(guān)聯(lián)分析，得到所述待檢測對象的三維關(guān)鍵點信息的預(yù)測值。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對所述RGB圖像、所述二維關(guān)鍵點信息及所述熱度圖像進行關(guān)聯(lián)分析，得到所述待檢測對象的三維關(guān)鍵點信息的預(yù)測值，包括：

利用所述深度學(xué)習(xí)模型，對所述RGB圖像的矩陣及所述熱度圖像的矩陣進行拼接，得到目標拼接矩陣；

對所述目標拼接矩陣進行特征提取，得到初始圖像特征；

對所述初始圖像特征進行維度變換，得到目標圖像特征；

對所述二維關(guān)鍵點信息進行分析，得到目標關(guān)鍵點特征；

對所述目標圖像特征及所述目標關(guān)鍵點特征進行關(guān)聯(lián)分析，得到所述待檢測對象的三維關(guān)鍵點信息的預(yù)測值。

3.一種深度學(xué)習(xí)模型訓(xùn)練方法，其特征在于，所述方法包括：

獲取待訓(xùn)練的深度學(xué)習(xí)模型；

在預(yù)設(shè)樣本集合中選取一組樣本圖像組，其中，所述樣本圖像組包括樣本RGB圖像、樣本二維關(guān)鍵點信息、每個樣本二維關(guān)鍵點對應(yīng)的樣本熱度圖像及真值三維關(guān)鍵點信息，所述樣本二維關(guān)鍵點信息通過對所述樣本RGB圖像進行二維關(guān)鍵點檢測得到；

利用所述深度學(xué)習(xí)模型，對當前選取的樣本RGB圖像、樣本熱度圖像及樣本二維關(guān)鍵點信息進行關(guān)聯(lián)分析，得到預(yù)測三維關(guān)鍵點信息；

根據(jù)所述真值三維關(guān)鍵點信息及所述預(yù)設(shè)三維關(guān)鍵點信息，計算所述深度學(xué)習(xí)模型的當前損失；

在所述深度學(xué)習(xí)模型的當前損失未收斂時，按照所述當前損失，調(diào)整所述深度學(xué)習(xí)模型的參數(shù)，并在所述預(yù)設(shè)樣本集合中選取一組樣本圖像組繼續(xù)訓(xùn)練，直至所述深度學(xué)習(xí)模型的損失收斂，得到訓(xùn)練好的深度學(xué)習(xí)模型。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述利用所述深度學(xué)習(xí)模型，對當前選取的樣本RGB圖像、樣本熱度圖像及樣本二維關(guān)鍵點信息進行關(guān)聯(lián)分析，得到預(yù)設(shè)三維關(guān)鍵點信息，包括：

利用所述深度學(xué)習(xí)模型，對當前選取的樣本RGB圖像的矩陣及所述樣本熱度圖像的矩陣進行拼接，得到樣本拼接矩陣；

對所述樣本拼接矩陣進行特征提取，得到初始樣本圖像特征；

對所述初始樣本圖像特征進行維度變換，得到目標樣本圖像特征；

對所述樣本二維關(guān)鍵點信息進行分析，得到目標樣本關(guān)鍵點特征；

利用所述深度學(xué)習(xí)模型，將所述目標樣本圖像特征及所述目標樣本關(guān)鍵點特征進行拼接，得到目標樣本拼接特征；

對所述目標樣本拼接特征進行分析，得到預(yù)測三維關(guān)鍵點信息。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述根據(jù)所述真值三維關(guān)鍵點信息及所述預(yù)設(shè)三維關(guān)鍵點信息，計算所述深度學(xué)習(xí)模型的當前損失，包括：

對所述預(yù)測三維關(guān)鍵點信息進行投影，得到預(yù)測二維關(guān)鍵點信息；

基于所述樣本二維關(guān)鍵點信息及所述預(yù)測二維關(guān)鍵點信息，計算二維關(guān)鍵點損失；

基于所述真值三維關(guān)鍵點信息及所述預(yù)測三維關(guān)鍵點信息，計算三維關(guān)鍵點損失；

基于所述二維關(guān)鍵點損失及所述三維關(guān)鍵點損失，計算所述深度學(xué)習(xí)模型的當前損失。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述基于所述二維關(guān)鍵點損失及所述三維關(guān)鍵點損失，計算所述深度學(xué)習(xí)模型的當前損失，包括：

利用預(yù)設(shè)二維關(guān)鍵點權(quán)重乘以所述二維關(guān)鍵點損失，利用預(yù)設(shè)三維關(guān)鍵點權(quán)重乘以所述三維關(guān)鍵點損失，并對得到的乘積求和，得到所述深度學(xué)習(xí)模型的當前損失。