[發(fā)明專(zhuān)利]三維關(guān)鍵點(diǎn)預(yù)測(cè)及深度學(xué)習(xí)模型訓(xùn)練方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201911417835.6
• 申請(qǐng)日: 2019-12-31
• 公開(kāi)（公告）號(hào): CN111160375A
• 公開(kāi)（公告）日: 2020-05-15
• 發(fā)明（設(shè)計(jì)）人: 劉思陽(yáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京奇藝世紀(jì)科技有限公司
• 主分類(lèi)號(hào): G06K9/46
• 分類(lèi)號(hào): G06K9/46;G06K9/62
• 代理公司: 北京柏杉松知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11413
• 代理人: 李欣;丁蕓

本申請(qǐng)實(shí)施例提供了三維關(guān)鍵點(diǎn)預(yù)測(cè)及深度學(xué)習(xí)模型訓(xùn)練方法、裝置及設(shè)備，該方法包括：獲取包含待檢測(cè)對(duì)象的RGB圖像；基于RGB圖像，獲取待檢測(cè)對(duì)象的二維關(guān)鍵點(diǎn)信息及每個(gè)二維關(guān)鍵點(diǎn)對(duì)應(yīng)的熱度圖像；利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對(duì)RGB圖像、二維關(guān)鍵點(diǎn)信息及熱度圖像進(jìn)行關(guān)聯(lián)分析，得到待檢測(cè)對(duì)象的三維關(guān)鍵點(diǎn)信息的預(yù)測(cè)值。利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型對(duì)待檢測(cè)對(duì)象的RGB圖像、二維關(guān)鍵點(diǎn)信息及熱度圖像進(jìn)行關(guān)聯(lián)分析，相比于僅對(duì)二維關(guān)鍵點(diǎn)信息進(jìn)行分析，能夠從RGB圖像及熱度圖像中獲取除二維關(guān)鍵點(diǎn)信息外的其他用于預(yù)測(cè)三維關(guān)鍵點(diǎn)信息的數(shù)據(jù)，從而能夠提高三維關(guān)鍵點(diǎn)信息預(yù)測(cè)的準(zhǔn)確性。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，特別是涉及三維關(guān)鍵點(diǎn)預(yù)測(cè)及深度學(xué)習(xí)模型訓(xùn)練方法、裝置及設(shè)備。

背景技術(shù)

隨著計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展，特別是深度學(xué)習(xí)算法的出現(xiàn)，基于圖像的人工智能技術(shù)快速崛起。

3D(Dimension，維度)關(guān)鍵點(diǎn)的識(shí)別是計(jì)算機(jī)視覺(jué)領(lǐng)域中的一個(gè)分支算法，可用于人體意圖識(shí)別，人體3D重建，人體動(dòng)作捕捉等應(yīng)用。隨著深度學(xué)習(xí)算法的發(fā)展，2D關(guān)鍵點(diǎn)算法逐漸成熟，但在預(yù)測(cè)人體的3D關(guān)鍵點(diǎn)任務(wù)上，仍存在很多問(wèn)題。

現(xiàn)有利用2D圖像提取3D關(guān)鍵點(diǎn)的技術(shù)中，首先對(duì)2D圖像進(jìn)行分析獲取2D關(guān)鍵點(diǎn)，然后通過(guò)將2D關(guān)鍵點(diǎn)的坐標(biāo)信息輸入到預(yù)先訓(xùn)練的深度學(xué)習(xí)算法中去預(yù)測(cè)3D關(guān)鍵點(diǎn)的位置坐標(biāo)，但是因?yàn)?D關(guān)鍵點(diǎn)本身包含的信息有限，導(dǎo)致3D關(guān)鍵點(diǎn)信息的預(yù)測(cè)準(zhǔn)確性差。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例的目的在于提供一種三維關(guān)鍵點(diǎn)預(yù)測(cè)及深度學(xué)習(xí)模型訓(xùn)練方法、裝置及設(shè)備，以實(shí)現(xiàn)提高3D關(guān)鍵點(diǎn)信息預(yù)測(cè)的準(zhǔn)確度。具體技術(shù)方案如下：

第一方面，本申請(qǐng)實(shí)施例提供了一種三維關(guān)鍵點(diǎn)預(yù)測(cè)方法，所述方法包括：

獲取包含待檢測(cè)對(duì)象的RGB圖像；

基于所述RGB圖像，獲取所述待檢測(cè)對(duì)象的二維關(guān)鍵點(diǎn)信息及每個(gè)二維關(guān)鍵點(diǎn)對(duì)應(yīng)的熱度圖像；

利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對(duì)所述RGB圖像、所述二維關(guān)鍵點(diǎn)信息及所述熱度圖像進(jìn)行關(guān)聯(lián)分析，得到所述待檢測(cè)對(duì)象的三維關(guān)鍵點(diǎn)信息的預(yù)測(cè)值。

在一種可能的實(shí)施方式中，所述利用預(yù)先訓(xùn)練的深度學(xué)習(xí)模型，對(duì)所述RGB圖像、所述二維關(guān)鍵點(diǎn)信息及所述熱度圖像進(jìn)行關(guān)聯(lián)分析，得到所述待檢測(cè)對(duì)象的三維關(guān)鍵點(diǎn)信息的預(yù)測(cè)值，包括：

利用所述深度學(xué)習(xí)模型，對(duì)所述RGB圖像的矩陣及所述熱度圖像的矩陣進(jìn)行拼接，得到目標(biāo)拼接矩陣；

對(duì)所述目標(biāo)拼接矩陣進(jìn)行特征提取，得到初始圖像特征；

對(duì)所述初始圖像特征進(jìn)行維度變換，得到目標(biāo)圖像特征；

對(duì)所述二維關(guān)鍵點(diǎn)信息進(jìn)行分析，得到目標(biāo)關(guān)鍵點(diǎn)特征；

對(duì)所述目標(biāo)圖像特征及所述目標(biāo)關(guān)鍵點(diǎn)特征進(jìn)行關(guān)聯(lián)分析，得到所述待檢測(cè)對(duì)象的三維關(guān)鍵點(diǎn)信息的預(yù)測(cè)值。

第二方面，本申請(qǐng)實(shí)施例提供了一種深度學(xué)習(xí)模型訓(xùn)練方法，所述方法包括：

獲取待訓(xùn)練的深度學(xué)習(xí)模型；

在預(yù)設(shè)樣本集合中選取一組樣本圖像組，其中，所述樣本圖像組包括樣本RGB圖像、樣本二維關(guān)鍵點(diǎn)信息、每個(gè)樣本二維關(guān)鍵點(diǎn)對(duì)應(yīng)的樣本熱度圖像及真值三維關(guān)鍵點(diǎn)信息，所述樣本二維關(guān)鍵點(diǎn)信息通過(guò)對(duì)所述樣本RGB圖像進(jìn)行二維關(guān)鍵點(diǎn)檢測(cè)得到；

利用所述深度學(xué)習(xí)模型，對(duì)當(dāng)前選取的樣本RGB圖像、樣本熱度圖像及樣本二維關(guān)鍵點(diǎn)信息進(jìn)行關(guān)聯(lián)分析，得到預(yù)測(cè)三維關(guān)鍵點(diǎn)信息；

根據(jù)所述真值三維關(guān)鍵點(diǎn)信息及所述預(yù)設(shè)三維關(guān)鍵點(diǎn)信息，計(jì)算所述深度學(xué)習(xí)模型的當(dāng)前損失；