[發(fā)明專利]一種基于3D體感攝像頭的舞蹈動(dòng)作教輔方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811637675.1
• 申請(qǐng)日: 2018-12-29
• 公開(kāi)（公告）號(hào): CN109833608B
• 公開(kāi)（公告）日: 2021-06-22
• 發(fā)明（設(shè)計(jì)）人: 楊非易;黃駿;周曉軍;陳尚衛(wèi);李驪;王行;盛贊;李朔;楊淼
• 申請(qǐng)（專利權(quán)）人: 南京華捷艾米軟件科技有限公司
• 主分類號(hào): A63B24/00
• 分類號(hào): A63B24/00;G06K9/00;G06K9/62
• 代理公司: 暫無(wú)信息
• 代理人: 暫無(wú)信息

1.一種基于3D體感攝像頭的舞蹈動(dòng)作教輔方法，其特征在于，包括如下步驟：

S1：獲取學(xué)生端舞蹈過(guò)程的深度圖數(shù)據(jù)；

S2：對(duì)深度圖數(shù)據(jù)進(jìn)行骨架提取；

S3：劃分舞蹈動(dòng)作時(shí)段，根據(jù)提取出的骨架中各關(guān)節(jié)點(diǎn)在各時(shí)刻的坐標(biāo)計(jì)算出每個(gè)關(guān)節(jié)點(diǎn)在目標(biāo)動(dòng)作時(shí)段中每個(gè)時(shí)刻的特征旋轉(zhuǎn)矩陣；

S4：將目標(biāo)動(dòng)作時(shí)段中各特征旋轉(zhuǎn)矩陣與其對(duì)應(yīng)的預(yù)設(shè)標(biāo)準(zhǔn)矩陣進(jìn)行比對(duì)，計(jì)算相似度并在相似度低于閾值時(shí)輸出提示信息；

步驟S3中所述計(jì)算特征旋轉(zhuǎn)矩陣具體為：根據(jù)定義目標(biāo)關(guān)節(jié)點(diǎn)的兩條方向軸，計(jì)算兩條方向軸的向量積作為第三條方向軸，三條方向軸加入齊次坐標(biāo)后構(gòu)造出方向矩陣；計(jì)算目標(biāo)時(shí)刻的方向矩陣相對(duì)于前一時(shí)刻的方向矩陣的變換矩陣，記為該時(shí)刻的特征旋轉(zhuǎn)矩陣；

所述定義目標(biāo)關(guān)節(jié)點(diǎn)的兩條方向軸，具體為：

若目標(biāo)關(guān)節(jié)點(diǎn)是其他兩個(gè)關(guān)節(jié)的交叉點(diǎn)，則選取目標(biāo)關(guān)節(jié)點(diǎn)與其相鄰的兩個(gè)關(guān)節(jié)點(diǎn)各構(gòu)造一條方向軸；或者，選取目標(biāo)關(guān)節(jié)點(diǎn)及其相鄰的一個(gè)關(guān)節(jié)點(diǎn)構(gòu)造一條方向軸，選取與目標(biāo)關(guān)節(jié)平行的關(guān)節(jié)構(gòu)造另一條方向軸；

若目標(biāo)關(guān)節(jié)點(diǎn)是其他三個(gè)關(guān)節(jié)的交叉點(diǎn)，則用目標(biāo)關(guān)節(jié)點(diǎn)與其相鄰的一個(gè)關(guān)節(jié)點(diǎn)構(gòu)造一條方向軸，用另外兩個(gè)相鄰的關(guān)節(jié)點(diǎn)構(gòu)造一條方向軸。

2.根據(jù)權(quán)利要求1所述的一種基于3D體感攝像頭的舞蹈動(dòng)作教輔方法，其特征在于，所述S4具體包括：構(gòu)造關(guān)節(jié)動(dòng)作特征旋轉(zhuǎn)矩陣，將各關(guān)節(jié)動(dòng)作特征旋轉(zhuǎn)矩陣與其對(duì)應(yīng)的預(yù)設(shè)標(biāo)準(zhǔn)矩陣進(jìn)行比對(duì)并計(jì)算相似度，當(dāng)目標(biāo)動(dòng)作時(shí)段中該關(guān)節(jié)的相似度低于閾值時(shí)輸出目標(biāo)動(dòng)作時(shí)段該關(guān)節(jié)的提示信息；所述關(guān)節(jié)動(dòng)作特征旋轉(zhuǎn)矩陣即為某一關(guān)節(jié)在目標(biāo)動(dòng)作時(shí)段中所有時(shí)刻的特征旋轉(zhuǎn)矩陣的集合。

3.根據(jù)權(quán)利要求2所述的一種基于3D體感攝像頭的舞蹈動(dòng)作教輔方法，其特征在于，所述S4具體包括：構(gòu)造目標(biāo)動(dòng)作特征旋轉(zhuǎn)矩陣，將各時(shí)段動(dòng)作特征旋轉(zhuǎn)矩陣與其對(duì)應(yīng)的預(yù)設(shè)標(biāo)準(zhǔn)矩陣進(jìn)行比對(duì)并計(jì)算相似度，當(dāng)該時(shí)段動(dòng)作的相似度低于閾值時(shí)輸出該目標(biāo)動(dòng)作時(shí)段的提示信息；所述目標(biāo)動(dòng)作特征旋轉(zhuǎn)矩陣即為目標(biāo)動(dòng)作時(shí)段內(nèi)所有關(guān)節(jié)動(dòng)作特征旋轉(zhuǎn)矩陣的集合。

4.根據(jù)權(quán)利要求1所述的一種基于3D體感攝像頭的舞蹈動(dòng)作教輔方法，其特征在于，步驟S4中所述計(jì)算相似度具體是采用DTW方法計(jì)算，包括：獲取待比較的兩個(gè)序列RL和TL，RL={r₁,r₂,r₃,…r_i,…,r_L1}，TL={t₁,t₂,t₃,…t_i,…,t_L2},r_i和t_j是原矩陣中的各元素，L₁和L₂為序列長(zhǎng)度，計(jì)算序列RL和TL的非線性匹配時(shí)的累計(jì)距離矩陣D(i,j)：

i = 1, 2 …L₁；j = 1, 2 …L₂

其中, d(r_i, t_j)是r_i和t_j的距離函數(shù)，D(L₁, L₂)表示RL和TL的最短距離，即相似度。

5.根據(jù)權(quán)利要求1所述的一種基于3D體感攝像頭的舞蹈動(dòng)作教輔方法，其特征在于，所述預(yù)設(shè)標(biāo)準(zhǔn)矩陣的具體獲取方法是：

（1）獲取教師端舞蹈過(guò)程的深度圖數(shù)據(jù)；

（2）對(duì)深度圖數(shù)據(jù)進(jìn)行骨架提取；

（3）根據(jù)提取出的骨架中各關(guān)節(jié)點(diǎn)在各時(shí)刻的坐標(biāo)計(jì)算出每個(gè)關(guān)節(jié)點(diǎn)在目標(biāo)時(shí)刻的特征旋轉(zhuǎn)矩陣作為預(yù)設(shè)標(biāo)準(zhǔn)矩陣，或者用特征旋轉(zhuǎn)矩陣構(gòu)造與學(xué)生端相對(duì)應(yīng)的預(yù)設(shè)標(biāo)準(zhǔn)矩陣。