[發(fā)明專利]一種引入運(yùn)動學(xué)約束的3D網(wǎng)絡(luò)進(jìn)行手部姿態(tài)估計(jì)的方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202010597038.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111489379B
• 公開（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 張一帆;孫琳暉;冷聰;盧漢清
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所南京人工智能芯片創(chuàng)新研究院;中國科學(xué)院自動化研究所
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06K9/00
• 代理公司: 南京泰普專利代理事務(wù)所(普通合伙) 32360
• 代理人: 張磊

1.一種引入運(yùn)動學(xué)約束的3D網(wǎng)絡(luò)進(jìn)行手部姿態(tài)估計(jì)的方法，其特征是包括以下步驟：

步驟1、將原始的深度圖中定位出的手部區(qū)域轉(zhuǎn)化成體素化的輸入；

步驟1-1、利用手部區(qū)域定位網(wǎng)絡(luò)從深度圖中定位出手部區(qū)域；

步驟1-2、將深度圖中定位出的手部區(qū)域投影到3D空間；

步驟1-3、針對投影到3D空間的數(shù)據(jù)，根據(jù)預(yù)設(shè)的體素大小進(jìn)行離散化處理；

步驟1-4、根據(jù)體素各個(gè)位置是否被離散的點(diǎn)所覆蓋來判斷體素各個(gè)位置的值，被覆蓋則值設(shè)為1，未被覆蓋則值設(shè)為0；

步驟2、引入運(yùn)動學(xué)約束的3D手部姿態(tài)估計(jì)網(wǎng)絡(luò)；該網(wǎng)絡(luò)以體素化的手部區(qū)域作為輸入，經(jīng)過3D卷積神經(jīng)網(wǎng)絡(luò)，預(yù)測表示關(guān)節(jié)點(diǎn)概率分布的3D heatmap；通過對3D heatmap進(jìn)行處理，獲得各個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)以及對應(yīng)的骨骼長度，從而可以利用修改損失函數(shù)的方式對預(yù)測的結(jié)果添加運(yùn)動學(xué)約束；對預(yù)測的結(jié)果添加運(yùn)動學(xué)約束需要對3D heatmap進(jìn)行處理，網(wǎng)絡(luò)預(yù)測出的3D heatmap代表了單個(gè)關(guān)節(jié)點(diǎn)的概率分布，heatmap中最大值的位置也就是關(guān)節(jié)點(diǎn)的位置；利用3D heatmap獲得關(guān)節(jié)點(diǎn)的位置然后根據(jù)關(guān)節(jié)點(diǎn)之間的對應(yīng)關(guān)系計(jì)算出骨骼的長度；提出一個(gè)Soft-argmax函數(shù)，以一種可導(dǎo)的方式來從3D heatmap中獲得關(guān)節(jié)點(diǎn)的坐標(biāo)：

其中，X代表的是尺寸為大小的3D heatmap；代表的是soft-max函數(shù)；代表的是3D heatmap最大值所在的位置；

步驟3、評估預(yù)測的關(guān)節(jié)點(diǎn)位置的準(zhǔn)確性、并評估預(yù)測出的關(guān)節(jié)點(diǎn)所形成的手部姿態(tài)的合理性；獲得3D heatmap對應(yīng)的各個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)后對預(yù)測結(jié)果添加運(yùn)動學(xué)約束：

步驟3-1、根據(jù)訓(xùn)練數(shù)據(jù)為每個(gè)骨骼長度設(shè)定一個(gè)標(biāo)準(zhǔn)的范圍，即該骨骼的最大長度和最小長度；

步驟3-2、將從3D heatmap中得到的骨骼長度和設(shè)定的標(biāo)準(zhǔn)范圍進(jìn)行比較，高于最大長度或者低于最小長度都會受到懲罰，從而為預(yù)測結(jié)果添加運(yùn)動學(xué)約束，添加了運(yùn)動學(xué)約束的手部姿態(tài)估計(jì)網(wǎng)絡(luò)的損失函數(shù)如下：

其中，L是整體的損失函數(shù)，一共包括三個(gè)部分，分別代表了3D heatmap的約束、骨骼長度超過最大長度的約束、骨骼長度低于最短長度的約束；N代表了關(guān)節(jié)點(diǎn)的數(shù)目，N-1代表了骨骼的數(shù)目，以及分別代表了預(yù)測和真實(shí)的3D heatmap，是由預(yù)測的關(guān)節(jié)點(diǎn)坐標(biāo)計(jì)算得到的骨骼長度，與代表了預(yù)設(shè)的最長和最短的骨骼長度，則代表了損失函數(shù)各個(gè)成分的權(quán)重。

2.一種實(shí)現(xiàn)上述權(quán)利要求1所述方法的系統(tǒng)，其特征在于，包括以下模塊：

用于將原始的深度圖中定位出的手部區(qū)域轉(zhuǎn)化成體素化的輸入的第一模塊；

用于引入運(yùn)動學(xué)約束的3D手部姿態(tài)估計(jì)網(wǎng)絡(luò)的第二模塊；

用于評估預(yù)測的關(guān)節(jié)點(diǎn)位置的準(zhǔn)確性、并評估預(yù)測出的關(guān)節(jié)點(diǎn)所形成的手部姿態(tài)的合理性的第三模塊。

3.根據(jù)權(quán)利要求2所述的系統(tǒng)，其特征在于：所述第一模塊進(jìn)一步利用手部區(qū)域定位網(wǎng)絡(luò)從深度圖中定位出手部區(qū)域；將深度圖中定位出的手部區(qū)域投影到3D空間；針對投影到3D空間的數(shù)據(jù)，根據(jù)預(yù)設(shè)的體素大小進(jìn)行離散化處理；根據(jù)體素各個(gè)位置是否被離散的點(diǎn)所覆蓋來判斷體素各個(gè)位置的值，被覆蓋則值設(shè)為1，未被覆蓋則值設(shè)為0；

所述第二模塊進(jìn)一步用于利用引入運(yùn)動學(xué)約束的手部姿態(tài)估計(jì)網(wǎng)絡(luò)以體素化的手部區(qū)域作為輸入，得到關(guān)節(jié)點(diǎn)的預(yù)測結(jié)果；該網(wǎng)絡(luò)以體素化的手部區(qū)域作為輸入，經(jīng)過3D卷積神經(jīng)網(wǎng)絡(luò)，預(yù)測表示關(guān)節(jié)點(diǎn)概率分布的3D heatmap；通過對3D heatmap進(jìn)行處理，獲得各個(gè)關(guān)節(jié)點(diǎn)的坐標(biāo)以及對應(yīng)的骨骼長度，從而可以利用修改損失函數(shù)的方式對預(yù)測的結(jié)果添加運(yùn)動學(xué)約束。