[發(fā)明專利]用于將測試幀序列與參考幀序列進(jìn)行匹配的系統(tǒng)和方法

在審

• 申請?zhí)枺?/td>: 202210192321.0
• 申請日: 2022-03-01
• 公開（公告）號: CN115035542A
• 公開（公告）日: 2022-09-09
• 發(fā)明（設(shè)計）人: A·阿茲漢德;P·阿加瓦爾
• 申請（專利權(quán)）人: 林德拉股份有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/40;G06N3/04;G06N3/08;G06V10/75;G06V10/82
• 代理公司: 北京紀(jì)凱知識產(chǎn)權(quán)代理有限公司 11245
• 代理人: 徐東升

1.一種用于將測試幀序列(201)與參考幀序列(202)進(jìn)行匹配的計算機實施的方法(1000)，所述參考幀序列(202)演示由第一人進(jìn)行的體育鍛煉，所述方法包含：

接收(1100)姿態(tài)數(shù)據(jù)文件(203)，所述姿態(tài)數(shù)據(jù)文件基于表示所述第一人的三維骨架(10)的多個關(guān)節(jié)在相應(yīng)幀(Fn)中的位置的三維關(guān)節(jié)坐標(biāo)的列表，對于所述參考幀序列(202)的至少一個幀子集(Fr1至Frn)，來表示虛擬球面(203s，203')上的多個二維骨架投影(10p1，10p2，10p1'，10p2')，其中所述三維骨架的特定關(guān)節(jié)(10cj)位于所述球面(203s，203s')的幾何中心處，其中所述子集(Fr1至Frn)的特定幀的每個二維骨架投影(10p1，10p2)對應(yīng)于來自不同視場角的所述第一人的所述三維骨架(10)的二維參考姿態(tài)圖像，其中所述二維參考姿態(tài)圖像是所述體育鍛煉的特征姿態(tài)；

接收(1200)所述測試幀序列(201)，所述測試幀序列表示第二人(2)在模仿所述體育鍛煉(t1-t2-t3)時的運動，所述測試幀序列由攝像機裝置(200)在特定角度處捕捉；

用實時二維骨架檢測器檢測(1300)在所述測試幀序列的當(dāng)前測試幀中的所述第二人(2)的二維骨架(20)，其中所述第二人的所述二維骨架是所述第二人在相應(yīng)測試幀中的姿態(tài)的二維表示；以及

選擇(1400)具有到所述當(dāng)前測試幀(Fc)中的所述第二人的所述二維骨架(20)的最小數(shù)學(xué)距離的所述第一人的特定二維骨架投影(10p1)，以將所述當(dāng)前測試幀(Fc)中的所述第二人(2)的當(dāng)前姿態(tài)與所述姿態(tài)數(shù)據(jù)文件中的對應(yīng)參考姿態(tài)表示進(jìn)行匹配，所述特定二維骨架投影表示在對應(yīng)于所述攝像機裝置的所述特定角度的視場角處的所述對應(yīng)參考姿態(tài)。

2.根據(jù)權(quán)利要求1所述的方法，其還包含：

接近實時地將當(dāng)前測試幀(Fc')可視化(1450)給所述第二人，所述當(dāng)前測試幀(Fc')包括所述第二人的對應(yīng)二維骨架的表示。

3.根據(jù)權(quán)利要求1或2所述的方法，其還包含：

確定(1500)所述當(dāng)前姿態(tài)到所述對應(yīng)參考姿態(tài)的數(shù)學(xué)距離，其中所述距離是指示所述第二人是否在正確地進(jìn)行所述體育鍛煉的量度；以及

在未正確地進(jìn)行所述體育鍛煉的情況下，向所述第二人指示(1600)關(guān)于如何修正所述當(dāng)前姿態(tài)的姿態(tài)修正反饋(10pf)。

4.根據(jù)權(quán)利要求3所述的方法，其中所述姿態(tài)數(shù)據(jù)文件包括將關(guān)節(jié)子集分組到對應(yīng)身體部位的每一幀的注釋，所述方法還包含：

為所述當(dāng)前測試幀指示超過預(yù)定臨界距離的身體部位；以及

提供關(guān)于所指示的身體部位如何改變所述當(dāng)前姿態(tài)的反饋，直到所述身體部位的當(dāng)前距離降到所述臨界距離以下為止。

5.根據(jù)權(quán)利要求3或4所述的方法，其中將所述姿態(tài)修正反饋(10pf)作為視覺信息或聲音信息輸出到所述第二人(2)。

6.根據(jù)前述權(quán)利要求中任一項所述的方法，進(jìn)一步包括在選擇所述特定二維骨架投影之前：

將檢測到的2D骨架轉(zhuǎn)換成標(biāo)準(zhǔn)化二維骨架，其中所述2D骨架的每個關(guān)節(jié)連接除以所述二維骨架的高度，其中所述虛擬球面(203s)被標(biāo)準(zhǔn)化成半徑等于一，其中每個二維骨架投影(10p1，10p2)是來自不同視場角(Φ，θ)的所述三維骨架的標(biāo)準(zhǔn)化二維表示。

7.根據(jù)前述權(quán)利要求中任一項所述的方法，其中選擇(1400)所述第一人的特定二維骨架投影(10p1)還包含：

將所述當(dāng)前測試幀(Fc)中的所述第二人的所述二維骨架提供給神經(jīng)網(wǎng)絡(luò)(122)以預(yù)測與所述當(dāng)前測試幀相關(guān)聯(lián)的視角(r，Φ，θ)，所述神經(jīng)網(wǎng)絡(luò)(122)用示出進(jìn)行鍛煉時的用戶姿態(tài)的多個訓(xùn)練幀作為輸入來訓(xùn)練，其中每個訓(xùn)練幀用對應(yīng)視角(r，Φ，θ)作為地面實況來注釋；以及

選擇位于對應(yīng)于所預(yù)測的視角(r，Φ，θ)的球體坐標(biāo)處的所述第一人的所述特定二維骨架投影(10p1)。