[發明專利]一種虛擬舞蹈教學方法及系統

有效

• 申請號: 201810548334.0
• 申請日: 2018-05-31
• 公開（公告）號: CN108777081B
• 公開（公告）日: 2021-02-02
• 發明（設計）人: 劉清堂;余舒凡;李云;張耀升;袁陽陽;王洋;黃景修;吳林靜
• 申請（專利權）人: 華中師范大學
• 主分類號: G09B5/02
• 分類號: G09B5/02;G06F3/01;G06T13/40
• 代理公司: 武漢科皓知識產權代理事務所(特殊普通合伙) 42222
• 代理人: 魏波

1.一種虛擬舞蹈教學方法，采用虛擬舞蹈教學系統；

其特征在于：所述系統包括動作捕捉模塊、專業舞蹈動作庫構建模塊、虛擬舞蹈教練構建模塊和舞蹈評價模塊；

所述動作捕捉模塊包括專業舞蹈教練動作捕捉子模塊與學員動作捕捉子模塊；所述專業舞蹈教練動作捕捉子模塊用于對專業舞蹈教練的動作進行捕捉、優化，確定舞蹈的標準動作；所述學員動作捕捉子模塊用于對學員的舞蹈動作進行捕獲，以用于舞蹈動作的對比評價，促進舞蹈學習；

所述專業舞蹈動作庫構建模塊包括：專業動作表征子模塊、骨骼點映射子模塊和專業動作存儲子模塊；所述專業動作表征子模塊用于建立舞蹈動作編碼標準，對捕捉和優化后的舞蹈動作進行編碼；所述骨骼點映射子模塊用于解決專業動捕采樣與Kinect采樣數據不一致的問題，以方便進行動作評價；所述專業動作存儲子模塊用于對優化后的專業舞蹈動作存儲到XML文件中，形成驅動舞蹈的專業動作庫；

所述虛擬舞蹈教練構建模塊包括舞蹈教練動作信息采集子模塊和等比例建模子模塊；所述信息采集子模塊用于舞蹈人物構建，對需要創建的舞蹈系統的人物進行剖析，拍攝相關人物多個視圖，以方便建模；所述等比例建模子模塊用于進行場景與人物的設計；

所述舞蹈動作評價模塊包括學員動作數據幀與標準教練動作數據幀的對齊子模塊和對比評價子模塊；所述學員動作數據幀與標準教練動作數據幀的對齊子模塊用于解決學員動作數據幀與教練動作數據幀間存在的時間差問題；所述對比評價子模塊用于根據專業舞蹈教練動作庫標準，對實時捕捉到的學員動作進行評價；

所述方法包括以下步驟：

步驟1：舞蹈教練專業動作捕捉；

具體實現包括以下子步驟：

步驟1.1：確定專業動捕數據需要的人體49個骨骼點；所述49個骨骼點包括頭、中肩關節、脊柱第一點、中髖關節、左肩關節、左肘關節、左腕關節、左手、右肩關節、右肘關節、右腕關節、右手、左髖關節、左膝蓋、左踝關節、左足、右髖關節、右膝蓋、右踝關節、右足、右中指第一點、右中指第二點、右中指第三點、右中指第四點、右食指第一點、右食指第二點、右食指第三點、右食指第四點、右拇指第一點、右拇指第二點、右拇指第三點、右拇指第四點、左中指第一點、左中指第二點、左中指第三點、左中指第四點、左食指第一點、左食指第二點、左食指第三點、左食指第四點、左拇指第一點、左拇指第二點、左拇指第三點、左拇指第四點、頭頂、脖頸、脊柱第二點、右足尖、左足尖；

步驟1.2：將LED粘貼于人體49個骨骼點處，LED之間通過線纜連接，由綁在人體表面的電源裝置供電；

步驟1.3：通過phasespace光學動捕儀捕捉舞蹈教練的專業動作，捕捉的每幀里面有49個光點；

步驟2：動作庫構建；

具體實現包括以下子步驟：

步驟2.1：根據kinect與大部分舞蹈的特點刪選并確定驅動的20個骨骼關節點；所述20個骨骼關節點包括頭、右肩、右肘、右腕、右手、左肩、左肘、左腕、左手、肩關節中心、脊、髖關節中心、右髖、右膝蓋、右踝、右腳、左髖、左膝蓋、左踝、左腳；

步驟2.2：根據骨骼點的位置對應關系，將捕捉的每幀49個光點與Kinect捕捉的20個骨骼關節點相對應；

將PhaseSpace的49個光點映射到Kinect的20個骨骼點時，從49個光點中取得對應部位點或者臨近部位點，與Kinect捕捉到的20個關節點相對應；

步驟2.3：定義動作編碼格式；

以(x、y、z)表示關節的位置信息；(q_x、q_y、q_z、q_w)是以四元數的形式表示該關節的旋轉信息，其中(q_x、q_y、q_z)是該關節旋轉圍繞的向量，q_w則為旋轉的角度；

步驟2.4：實時計算20個骨骼關節點的運動信息，存儲于動作庫中，形成舞蹈的標準XML格式動作庫；

步驟3：根據動作庫，驅動教練模型進行舞蹈教學；

具體實現過程是：通過采集舞蹈教練的信息后，首先以三視圖形式進行舞蹈人物模型的等比例建模，舞蹈教練的信息包括人物的服裝、首飾、身姿的多個視圖；接著進行貼圖，給模型附上材質包括皮膚衣服；最后進行蒙皮，給模型綁定骨骼，能夠在之后通過phasespace或者kinect驅動；

運用光學動作捕捉系統捕捉專業教練的專業舞蹈動作，對捕獲到的動作進行去噪、優化，運用動作編碼系統對教練動作以XML形式表征，以形成包含每一幀中各骨骼點運動信息的動作庫；具體實現包括以下子步驟：

步驟3.1：關節點標定

為了獲取適合與Kinect對比專業的動作數據，首先將光學動捕數據得到的49個關節運動進行標定成Kinect所能驅動的20個關節點，并對這些點進行編號；

步驟3.2：構建關節描述信息；

考慮每個關節需要記錄的信息，該構建方法記錄每個關節的位置和旋轉信息；其中，使用三維向量P記錄關節位置：

p＝[x y z] (1)

p的三個分量x，y，z分別表示關節點在空間坐標參照系中的x、y、z三個軸上的投影的值；

同時使用四元數Q記錄關節的旋轉，Q的定義如公式(2)所示：

Q＝[q₀ q₁ q₂ q₃]^T

|Q|²＝|q₀|²+|q₁|²+|q₂|²+|q₃|² (2)

在三維坐標系中，用四元數Q表示繞某個軸的旋轉，結合上述公式有：

基于公式(1)(2)(3)，定義描述關節信息的XML格式；

步驟3.3：關節信息的XML描述；

完成關節信息的定義后，結合動作文件的序列特點，定義完整的動作文件的XML形式；

步驟3.4：確定動作單元，進行動作入庫；

對去噪、優化后的動作數據進行分類并確定動作單元與連續動作；然后進行xml格式的存儲，以生成可以驅動教練模型的動作庫；

步驟4：在舞蹈學員學習舞蹈時進行動作對齊；

首先利用Kinect對學員動作進行實時捕獲；然后Kinect捕捉的動作驅動學員模型與教練模型進行虛擬交互學習；同時提取學員每個關節的數據，實時獲取20個關節點組成的19根骨骼的信息；

其中根據實時獲取的20個關節點組成的19根骨骼的信息，通過動作評價算法給出實時的判斷與計算并反饋給用戶；

具體實現包括以下子步驟：

(1)已知教練與學員對應關鍵幀的骨骼向量通過公式計算其與x、y、z軸的夾角余弦值(cosα，cosB，cosγ)，通過歐式距離公式計算學員與教練的對應骨骼的特征余弦的歐氏距離，選擇所有幀N總的差異量，統計其中每幀的最大差異量df_max和最小差異量df_min；計算每幀的得分score_k后，計算N總幀得分的統計平均值作為最后得分score；

其中，df_k是第k幀的動作差異度；

(2)在教練標準動作的幀序列和學員動作的幀序列上分別建立兩個窗口，其中比對窗口是以當前對比的教練幀為關聯幀，向前后各取(N-1)/2幀，構成長度為N的比對窗口；學員動作窗口的起始幀與比對窗口起始幀對齊，計算每次滑動學員動作幀與教練動作幀的差異度根據差異度累積均值作比較，找出最小的那一幀進行對齊；

(3)對齊后進行計算評分score，并反饋給學員。

2.根據權利要求1所述的虛擬舞蹈教學方法，其特征在于，步驟1.3的具體實現包括以下子步驟：

步驟1.3.1：運用光學動作捕捉系統捕獲舞蹈教練的特定49個骨骼點的舞蹈動作數據；

步驟1.3.2：對舞蹈動作捕捉數據進行去噪、刪除重復動作、刪除跳幀數據，調整不標準的動作數據處理。