[發(fā)明專(zhuān)利]動(dòng)作捕捉方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011282261.9
• 申請(qǐng)日: 2020-11-16
• 公開(kāi)（公告）號(hào): CN112381003B
• 公開(kāi)（公告）日: 2023-08-22
• 發(fā)明（設(shè)計(jì)）人: 劉書(shū)穎;張澤昕;吳文斌;劉宏達(dá);李承乾;林悅
• 申請(qǐng)（專(zhuān)利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類(lèi)號(hào): G06V40/20
• 分類(lèi)號(hào): G06V40/20;G06V20/40;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京同立鈞成知識(shí)產(chǎn)權(quán)代理有限公司 11205
• 代理人: 張娜;劉芳

1.一種動(dòng)作捕捉方法，其特征在于，包括：

獲取單目視頻，所述單目視頻中包括人物的動(dòng)作的視頻，所述人物的動(dòng)作的視頻由包含連續(xù)的人物的動(dòng)作的圖像構(gòu)成；

根據(jù)所述單目視頻中的人物的動(dòng)作的視頻得到與連續(xù)的所述人物的動(dòng)作的圖像對(duì)應(yīng)的連續(xù)的熱度圖；

根據(jù)連續(xù)的所述熱度圖獲取連續(xù)二維關(guān)節(jié)點(diǎn)序列，所述連續(xù)二維關(guān)節(jié)點(diǎn)序列用于表示熱度圖中人物的關(guān)節(jié)點(diǎn)位置；

根據(jù)所述連續(xù)二維關(guān)節(jié)點(diǎn)序列得到三維估計(jì)結(jié)果，所述三維估計(jì)結(jié)果中包括三維關(guān)節(jié)點(diǎn)位置信息；

對(duì)所述三維估計(jì)結(jié)果進(jìn)行精調(diào)；

基于所述三維關(guān)節(jié)點(diǎn)位置信息生成骨骼動(dòng)作文件，所述骨骼動(dòng)作文件用于驅(qū)動(dòng)目標(biāo)模型執(zhí)行與所述單目視頻中人物相對(duì)應(yīng)的動(dòng)作；

所述基于所述三維關(guān)節(jié)點(diǎn)位置信息生成骨骼動(dòng)作文件，包括：

基于所述三維關(guān)節(jié)點(diǎn)位置信息進(jìn)行位移估計(jì)和動(dòng)作解算處理，生成所述骨骼動(dòng)作文件；

所述基于所述三維關(guān)節(jié)點(diǎn)位置信息進(jìn)行位移估計(jì)和動(dòng)作解算處理，生成所述骨骼動(dòng)作文件，包括：

根據(jù)所述三維關(guān)節(jié)點(diǎn)位置信息，將所述三維關(guān)節(jié)點(diǎn)投影到像素平面，與所述熱度圖中的二維關(guān)節(jié)點(diǎn)求重投影誤差，得到位移估計(jì)結(jié)果；

根據(jù)所述位移估計(jì)結(jié)果，采用反向運(yùn)動(dòng)學(xué)算法和預(yù)先獲取的人形骨骼的約束條件進(jìn)行動(dòng)作解算處理，得到動(dòng)作解算結(jié)果；

根據(jù)所述動(dòng)作解算結(jié)果生成所述骨骼動(dòng)作文件；

在所述位移估計(jì)之后，采用平滑算法對(duì)所述位移估計(jì)結(jié)果進(jìn)行平滑處理。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述單目視頻中的人物的動(dòng)作的視頻得到與連續(xù)的所述人物的動(dòng)作的圖像對(duì)應(yīng)的熱度圖，包括：

將所述單目視頻中包含連續(xù)的人物的動(dòng)作的圖像輸入二維姿態(tài)估計(jì)模型進(jìn)行處理，得到與連續(xù)的所述人物的動(dòng)作的圖像對(duì)應(yīng)的熱度圖；

所述二維姿態(tài)估計(jì)模型是根據(jù)卷積神經(jīng)網(wǎng)絡(luò)CNN訓(xùn)練得到的用于估計(jì)圖像中人物二維姿態(tài)的模型。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述將所述單目視頻中包含連續(xù)的人物的動(dòng)作的圖像輸入二維姿態(tài)估計(jì)模型進(jìn)行處理，得到與連續(xù)的所述人物的動(dòng)作的圖像對(duì)應(yīng)的熱度圖，包括：

對(duì)所述單目視頻中每一幀圖像進(jìn)行人體檢測(cè)，得到連續(xù)的包含人體包圍框的圖像塊；

將所述連續(xù)的包含人體包圍框的圖像塊依次輸入所述二維姿態(tài)估計(jì)模型進(jìn)行處理，得到與連續(xù)的所述人物的動(dòng)作的圖像對(duì)應(yīng)的熱度圖。

4.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)中包括多個(gè)包含人物的圖像，以及每個(gè)圖像對(duì)應(yīng)的人物的二維姿態(tài)信息；

將所述訓(xùn)練數(shù)據(jù)中，每個(gè)包含人物的圖像中的人體包圍框內(nèi)的圖像裁剪出來(lái)輸入CNN，將所述圖像對(duì)應(yīng)的人物的二維姿態(tài)信息作為CNN的輸出進(jìn)行訓(xùn)練，得到所述二維姿態(tài)估計(jì)模型。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述連續(xù)二維關(guān)節(jié)點(diǎn)序列得到三維估計(jì)結(jié)果，包括：

將所述連續(xù)二維關(guān)節(jié)點(diǎn)序列輸入三維姿態(tài)估計(jì)模型，得到所述三維估計(jì)結(jié)果；

所述三維姿態(tài)估計(jì)模型是根據(jù)卷積神經(jīng)網(wǎng)絡(luò)CNN訓(xùn)練得到的用于根據(jù)二維關(guān)節(jié)點(diǎn)處理得到三維關(guān)節(jié)點(diǎn)位置的模型。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述方法還包括：

獲取訓(xùn)練數(shù)據(jù)，所述訓(xùn)練數(shù)據(jù)中包括多個(gè)包含人物的圖像，以及每個(gè)圖像對(duì)應(yīng)的人物的二維姿態(tài)信息，以及每個(gè)人物的二維姿態(tài)信息對(duì)應(yīng)的三維姿態(tài)信息；

將所述訓(xùn)練數(shù)據(jù)中，每個(gè)包含人物的圖像對(duì)應(yīng)的二維姿態(tài)信息輸入CNN，將所述圖像對(duì)應(yīng)的三維姿態(tài)信息作為CNN的輸出進(jìn)行訓(xùn)練，得到所述三維姿態(tài)估計(jì)模型。

7.根據(jù)權(quán)利要求1-6任一項(xiàng)所述的方法，其特征在于，所述獲取單目視頻，包括：

接收用戶(hù)通過(guò)終端設(shè)備上傳的所述單目視頻；或者

實(shí)時(shí)接收單目攝像頭拍攝返回的所述單目視頻。