[發(fā)明專利]動作捕捉方法、裝置、設備及存儲介質

有效

• 申請?zhí)枺?/td>: 202011282261.9
• 申請日: 2020-11-16
• 公開（公告）號: CN112381003B
• 公開（公告）日: 2023-08-22
• 發(fā)明（設計）人: 劉書穎;張澤昕;吳文斌;劉宏達;李承乾;林悅
• 申請（專利權）人: 網(wǎng)易(杭州)網(wǎng)絡有限公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 北京同立鈞成知識產(chǎn)權代理有限公司 11205
• 代理人: 張娜;劉芳

本申請?zhí)峁┮环N動作捕捉方法、裝置、設備及存儲介質，該方法包括：獲取單目視頻，單目視頻中包括人物的動作的視頻，人物的動作的視頻由包含連續(xù)的人物的動作的圖像構成，根據(jù)單目視頻中的人物的動作的視頻得到與連續(xù)的人物的動作的圖像對應的連續(xù)的熱度圖，根據(jù)連續(xù)的熱度圖獲取連續(xù)二維關節(jié)點序列，二維關節(jié)點序列用于表示熱度圖中人物的關節(jié)點位置。根據(jù)連續(xù)的二維關節(jié)點序列得到三維估計結果，三維姿態(tài)估計結果中包括三維關節(jié)點位置信息。基于三維關節(jié)點位置信息生成骨骼動作文件，骨骼動作文件用于驅動目標模型執(zhí)行與單目視頻中人物相對應的動作。通過上述方法得到的三維姿態(tài)模擬數(shù)據(jù)更加精準，提升目標模型與視頻中人物動作的一致性。

技術領域

本申請實施例涉及計算機視覺領域，尤其涉及一種動作捕捉方法、裝置、設備及存儲介質。

背景技術

現(xiàn)有的視頻動作捕捉方案主要有兩種：一種是基于RGB-D攝像機的方案，此類方案需要RGB-D攝像機同時獲取RGB三通道彩色圖像和深度信息，并且只能使用配套的攝像機以保證相機參數(shù)確知，然后才能進行動作捕捉。基于多目RGB攝像機的方案，此類方案需要基于多目RGB攝像機從多個角度拍攝的圖像進行動作捕捉，且不同角度拍攝的圖像幀序列需要嚴格對齊。

對于第一種方案，由于大多數(shù)網(wǎng)絡視頻都不包含深度信息，且RGB-D攝像機在室外場景對深度信息的捕獲能力較差，因此該方案的應用場景比較受限。對于第二種方案，由于大多數(shù)網(wǎng)絡視頻都是基于單目攝像機拍攝的，因此該方案的應用場景同樣比較受限。

發(fā)明內容

本申請實施例提供一種動作捕捉方法、裝置、設備及存儲介質，采用卷積神經(jīng)網(wǎng)絡構建二維姿態(tài)估計模型和三維姿態(tài)估計模型，得到的三維姿態(tài)數(shù)據(jù)更加精準，為生成骨骼動作文件提供數(shù)據(jù)支撐。

第一方面，本申請實施例提供一種動作捕捉方法，包括：

獲取單目視頻，所述單目視頻中包括人物的動作的視頻，所述人物的動作的視頻由包含連續(xù)的人物的動作的圖像構成；

根據(jù)將所述單目視頻中的人物的動作的視頻包含人物的圖像輸入二維姿態(tài)估計模型進行處理，得到與連續(xù)的所述人物的動作的所述圖像對應的連續(xù)的熱度圖；

根據(jù)連續(xù)的將所述熱度圖進行擬合處理，獲取連續(xù)二維關節(jié)點序列，所述連續(xù)二維關節(jié)點序列用于表示熱度圖中人物的關節(jié)點位置；

根據(jù)將所述連續(xù)二維關節(jié)點序列輸入三維姿態(tài)估計模型，得到三維估計結果，所述三維估計結果中包括三維關節(jié)點位置信息；

基于所述三維關節(jié)點位置信息進行位移估計和動作解算處理，生成骨骼動作文件，所述骨骼動作文件用于驅動目標模型執(zhí)行與所述單目視頻中人物相對應的動作。

在本申請的一個實施例中，所述根據(jù)所述單目視頻中的人物的動作的視頻得到與連續(xù)的所述人物的動作的圖像對應的熱度圖，包括：

將所述單目視頻中包含連續(xù)的人物的動作的圖像輸入二維姿態(tài)估計模型進行處理，得到與連續(xù)的所述人物的動作的圖像對應的熱度圖；

所述二維姿態(tài)估計模型是根據(jù)卷積神經(jīng)網(wǎng)絡CNN訓練得到的用于估計圖像中人物二維姿態(tài)的模型。

在本申請的一個實施例中，所述將所述單目視頻中包含連續(xù)的人物的動作的圖像輸入二維姿態(tài)估計模型進行處理，得到與連續(xù)的所述人物的動作的圖像對應的熱度圖，包括：

對所述單目視頻中每一幀圖像進行人體檢測，得到連續(xù)的包含人體包圍框的圖像塊；

將所述連續(xù)的包含人體包圍框的圖像塊依次輸入所述二維姿態(tài)估計模型進行處理，得到與連續(xù)的所述人物的動作的圖像對應的熱度圖。

在本申請的一個實施例中，所述方法還包括：

獲取訓練數(shù)據(jù)，所述訓練數(shù)據(jù)中包括多個包含人物的圖像，以及每個圖像對應的人物的二維姿態(tài)信息；