[發(fā)明專利]一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210443848.6
• 申請(qǐng)日: 2022-04-25
• 公開（公告）號(hào): CN114821418A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計(jì)）人: 于澤;曹永卓;紀(jì)良駿;高麗娜
• 申請(qǐng)（專利權(quán)）人: 紀(jì)良駿
• 主分類號(hào): G06V20/40
• 分類號(hào): G06V20/40;G06V20/64;G06V40/20;G06N3/02
• 代理公司: 北京博海嘉知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 16007
• 代理人: 趙赟鑫

1.一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法，包括以下步驟：

步驟一：拍攝運(yùn)動(dòng)員的圖像視頻；

步驟二：將拍攝的運(yùn)動(dòng)員圖像視頻幀發(fā)送骨干網(wǎng)絡(luò)模型；

步驟三：基于HRNet得到而二維人體骨架結(jié)構(gòu)；

步驟四：通過LCN神經(jīng)網(wǎng)絡(luò)模型將二維人體骨架結(jié)構(gòu)抬升至三維空間中，得到三維人體姿態(tài)，并存入模板動(dòng)作模塊。

2.根據(jù)權(quán)利要求1所述的一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法，其特征在于：所述步驟三采用HRNet算法，使用自頂向下的人體骨骼關(guān)鍵點(diǎn)檢測(cè)方式，先利用目標(biāo)檢測(cè)算法Faster R-CNN檢測(cè)出圖像中的所有人體位置框，隨后針對(duì)檢測(cè)出的每個(gè)人體位置框單獨(dú)執(zhí)行人體骨骼關(guān)鍵點(diǎn)檢測(cè)。

3.根據(jù)權(quán)利要求1所述的一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法，其特征在于：所述步驟四三維人體姿態(tài)采用局部連接網(wǎng)絡(luò)，將HRNet算法得到二維人體骨架結(jié)構(gòu)然后通過LCN神經(jīng)網(wǎng)絡(luò)模型將二維人體骨架結(jié)構(gòu)抬升至三維空間中，得到三維人體姿態(tài)，獲得人體17個(gè)骨骼關(guān)鍵點(diǎn)的三維坐標(biāo)，存入領(lǐng)感智體模板動(dòng)作庫(kù)。

4.根據(jù)權(quán)利要求3所述的一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法，其特征在于：所述還包括步驟五：模板動(dòng)作模塊可視化輸出；

所述模板動(dòng)作模塊可視化輸出流程包括：

(1)從建模軟件的網(wǎng)格模型中綁定骨骼，經(jīng)過蒙皮、調(diào)整、驅(qū)動(dòng)檢查等步驟得到FBX格式的骨骼蒙皮模型；

(2)將上述模型輸出在Unity平臺(tái)中進(jìn)行位置調(diào)整；

(3)把獲取的人體17個(gè)骨骼關(guān)鍵點(diǎn)的三維坐標(biāo)與Unity平臺(tái)中三維人體模型的相同17個(gè)骨骼關(guān)節(jié)位置進(jìn)行對(duì)應(yīng)綁定，形成模板動(dòng)作三位人物模型動(dòng)畫。

5.根據(jù)權(quán)利要求3所述的一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法，其特征在于：所述通過LCN神經(jīng)網(wǎng)絡(luò)模型將二維人體骨架結(jié)構(gòu)抬升至三維空間中的操作方式為：

使用基于單目圖像的三維人體姿態(tài)估計(jì)方法(LCN)包括兩個(gè)模塊：(1)基于CNN的二維位姿估計(jì)；(2)基于LCN的三維位姿估計(jì)。使用三個(gè)損失來估計(jì)三維人體姿態(tài)：

L＝λ_hL_heatmap+λ_2DL_2D+λ_3DL_3D

其中L_heatmap、L_2D和λ_3D分別是在2D姿勢(shì)熱圖、2D關(guān)節(jié)位置和3D關(guān)節(jié)位置上強(qiáng)制執(zhí)行的損失函數(shù)。

6.根據(jù)權(quán)利要求5所述的一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法，其特征在于：所述L_heatmap的計(jì)算方法為：

用{H_1，…，H_N}表示CNN從圖像中估計(jì)的熱圖，其中N是身體關(guān)節(jié)類型的數(shù)量。對(duì)應(yīng)的地面真實(shí)熱圖由{H_1^9，…，H_N^9}表示，其中每個(gè)H_i^9是通過應(yīng)用以第i個(gè)關(guān)節(jié)的地面真實(shí)位置為中心的2D高斯來生成的。在以前的工作的基礎(chǔ)上，在估計(jì)的熱圖和地面真實(shí)的熱圖之間實(shí)施了L2損失。

7.根據(jù)權(quán)利要求5所述的一種運(yùn)動(dòng)員單目視頻的運(yùn)動(dòng)特征獲取方法，其特征在于：所述L_2D的計(jì)算方法為：

通過使用積分技巧計(jì)算熱圖的“期望值”來將熱圖H_i變換成2D坐標(biāo)J_i，以便它可以被饋送到LCN網(wǎng)絡(luò)以估計(jì)3D姿態(tài)。

首先通過在空間軸上應(yīng)用SoftMax運(yùn)算符來歸一每個(gè)熱圖H_i，使得它們的和為一：

其中W和H分別是熱圖的寬度和高度。超參數(shù)α，被稱為“逆溫度”，用于調(diào)整歸一化熱圖的銳度。關(guān)節(jié)J_i的二維位置被計(jì)算為～的質(zhì)心H_i：

在估計(jì)位置J_i和地面真實(shí)位置之間強(qiáng)制實(shí)施穩(wěn)健的L1損失：

當(dāng)使用不同的α值來歸一化熱圖時(shí)計(jì)算的2D姿勢(shì)。(F)通過在每個(gè)熱圖中找到最大熱圖響應(yīng)來獲得2D姿勢(shì)。