[發(fā)明專利]基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010916633.2
• 申請(qǐng)日: 2020-09-03
• 公開(kāi)（公告）號(hào): CN112016494A
• 公開(kāi)（公告）日: 2020-12-01
• 發(fā)明（設(shè)計(jì)）人: 王亮;黃巖;陳澤睿;王海濱;單彩峰
• 申請(qǐng)（專利權(quán)）人: 中科人工智能創(chuàng)新技術(shù)研究院（青島）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 濟(jì)南圣達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 37221
• 代理人: 董雪

1.一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法，其特征在于，包括：

獲取目標(biāo)圖像，提取所述目標(biāo)圖像的關(guān)節(jié)點(diǎn)信息；

將所述關(guān)節(jié)點(diǎn)信息輸入到訓(xùn)練好的三維人體姿態(tài)估計(jì)器，輸出目標(biāo)圖像中各關(guān)節(jié)點(diǎn)在三維空間中的位置信息，完成人體姿態(tài)估計(jì)；

其中，所述三維人體姿態(tài)估計(jì)器分別采用不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)各關(guān)節(jié)點(diǎn)在三維空間中的位置進(jìn)行預(yù)估。

2.如權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法，其特征在于，把估計(jì)設(shè)定的每一組人體關(guān)節(jié)點(diǎn)在三維空間中的位置作為一個(gè)任務(wù)，為每一個(gè)任務(wù)預(yù)置一組待優(yōu)化的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

3.如權(quán)利要求2所述的一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法，其特征在于，每一組所述的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)包括：設(shè)定層數(shù)的通用模塊、降采樣模塊和特征融合模塊；所述通用模塊和降采樣模塊中均包括設(shè)定數(shù)量的節(jié)點(diǎn)，通過(guò)使用可微分神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索，優(yōu)化節(jié)點(diǎn)之間的相互連接操作，從而得到優(yōu)化后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

4.如權(quán)利要求3所述的一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法，其特征在于，所有優(yōu)化后的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)構(gòu)成三維人體姿態(tài)估計(jì)器。

5.如權(quán)利要求3所述的一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法，其特征在于，不同的節(jié)點(diǎn)連接方式對(duì)應(yīng)人體不同關(guān)節(jié)的不同形狀和運(yùn)動(dòng)模式。

6.如權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法，其特征在于，在模型搜索階段，將在網(wǎng)絡(luò)的驗(yàn)證集上進(jìn)行梯度下降以更新節(jié)點(diǎn)之間連接的概率，即更新網(wǎng)絡(luò)結(jié)構(gòu)；在訓(xùn)練集上進(jìn)行梯度下降來(lái)優(yōu)化各新網(wǎng)絡(luò)本身的參數(shù)。

7.如權(quán)利要求1所述的一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法，其特征在于，獲取人體不同姿態(tài)圖像，提取圖像中的人體關(guān)節(jié)點(diǎn)信息，作為訓(xùn)練數(shù)據(jù)集，使用L1距離去約束模型的預(yù)測(cè)結(jié)果和數(shù)據(jù)集給定的真實(shí)標(biāo)簽，使用梯度下降的方法對(duì)所述的三維人體姿態(tài)估計(jì)器進(jìn)行訓(xùn)練。

8.一種基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)系統(tǒng)，其特征在于，包括：

特征提取模塊，用于獲取目標(biāo)圖像，提取所述目標(biāo)圖像的關(guān)節(jié)點(diǎn)信息；

特征識(shí)別模塊，用于將所述關(guān)節(jié)點(diǎn)信息輸入到訓(xùn)練好的三維人體姿態(tài)估計(jì)器，輸出目標(biāo)圖像中各關(guān)節(jié)點(diǎn)在三維空間中的位置信息，完成人體姿態(tài)估計(jì)；

其中，所述三維人體姿態(tài)估計(jì)器分別采用不同的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)對(duì)各關(guān)節(jié)點(diǎn)在三維空間中的位置進(jìn)行預(yù)估。

9.一種終端設(shè)備，包括服務(wù)器，所述服務(wù)器包括存儲(chǔ)器、處理器及存儲(chǔ)在存儲(chǔ)器上并可在處理器上運(yùn)行的計(jì)算機(jī)程序，其特征在于，所述處理器執(zhí)行所述程序時(shí)實(shí)現(xiàn)權(quán)利要求1-7任一項(xiàng)所述的基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法。

10.一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中存儲(chǔ)有多條指令，其特征在于，所述指令適于由終端設(shè)備的處理器加載并執(zhí)行權(quán)利要求1-7任一項(xiàng)所述的基于神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索的三維人體姿態(tài)估計(jì)方法。