[發明專利]一種鋼琴彈奏指法的評估方法及裝置

在審

• 申請號: 202110842933.5
• 申請日: 2021-07-26
• 公開（公告）號: CN113657184A
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 胡建華;魏嘉俊;唐浩鑫;鄭燊浩;吳偉美
• 申請（專利權）人: 廣東科學技術職業學院
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06T5/00;G06T7/80
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 陳志亮

1.一種鋼琴彈奏指法的評估方法，其特征在于，所述方法包括以下步驟：

S1，將第一演奏視頻逐幀分解成圖像，并對所述圖像進行校正；

S2，將所述第一演奏視頻逐幀分解的圖像輸入到預設的深度學習模型，提取手部關節骨骼圖，輸出第一手勢關節點的時序圖；

S3，將第二演奏視頻逐幀分解成圖像，并對所述圖像進行預處理；

S4，將所述第二演奏視頻逐幀分解的圖像輸入到預設的深度學習模型，提取手部關節骨骼圖，輸出第二手勢關節點的時序圖；

S5，采用動態時間調整算法對第一手勢關節點的時序圖與第二手勢關節點的時序圖進行相似性比對，進而評估鋼琴彈奏指法的準確性，其中，相似性比對包括：計算第一手勢關節點的時序圖和第二手勢關節點的時序圖中的距離矩陣；尋找一條從矩陣左上角到右下角的路徑，使得路徑上的元素和最小的路徑，其中，路徑上的元素之和為相似性評價指標，元素之和越小，相似性越高。

2.根據權利要求1所述的一種鋼琴彈奏指法的評估方法，其中，所述步驟S1和S3中的任一步驟包括：

采用張正友棋盤格標定法對圖像進行標定，計算相機的內部參數和外部參數，使得世界坐標與圖像中的坐標一一對應；

計算相機的畸變參數，對圖像進行去畸變處理；

以來對圖像進行校正。

3.根據權利要求1所述的一種鋼琴彈奏指法的評估方法，其中，所述步驟S2和S4中的任一步驟包括：獲取手部的特征圖用來預測手部遮罩的置信圖，預測手部關鍵點用來獲取手部關節點的置信圖以提取手部關節骨骼圖，其中，手勢關節點的時序圖由圖像的手勢關節點的序列圖按照時間順序組成，其中，手部關節點序列圖由所述手部關節點坐標有序連接組成。

4.根據權利要求2所述的一種鋼琴彈奏指法的評估方法，其中，圖像校正包括：

S12-1，通過變換不同的角度，采集多張圖像，采用張正友棋盤格標定法對所述圖像進行標定；

S12-2，提取每一張標定圖像的信息，其中，所述信息包括角點信息和/或亞像素角點信息；

S12-3，計算出相機內、外參數矩陣以及畸變系數最優值；

S12-4，輸入待校正圖像，通過相機內、外參數矩陣以及畸變系數最優值，變換坐標得到最終校正圖像。

5.根據權利要求1所述的一種鋼琴彈奏指法的評估方法，還包括：

S61，基于所述第一演奏視頻逐幀分解的圖像提取被按下的琴鍵的坐標信息，輸出第一琴鍵的坐標時序圖；

S62，基于所述第二演奏視頻逐幀分解的圖像提取被按下的琴鍵的坐標信息，輸出第二琴鍵的坐標時序圖；

S63，采用動態時間調整算法對第一琴鍵的坐標時序圖與第二琴鍵的坐標時序圖進行相似性比對，進而評估鋼琴彈奏音符的準確性。

6.根據權利要求5所述的一種鋼琴彈奏指法的評估方法，其中，所述步驟S61和S62中的任一步驟包括：琴鍵坐標時序圖由琴鍵坐標的序列圖按照時間順序組成，其中，琴鍵坐標的序列圖由被按下的琴鍵坐標有序連接組成，其中，基于演奏視頻逐幀分解的圖像的時間幀關聯琴鍵被觸發后的產生的信息，通過信息采集模塊，唯一確定按下琴鍵的位置信息，從而關聯被按下的琴鍵的坐標信息。

7.根據權利要求1所述的一種鋼琴彈奏指法的評估方法，還包括，結合琴鍵坐標的時序圖與手勢關節點的時序圖的相似性比對結果，評估彈奏手勢與音符的綜合水平。

8.根據權利要求1所述的一種鋼琴彈奏指法的評估方法，其中，手勢關節點的時序圖中每一個時間幀，對應一張手勢關節點的序列圖，比對第一手勢關節點的時序圖和第二手勢關節點的時序圖的相似性，需要比對每一個手勢關鍵點組成的時序圖，因此，兩個手勢關節點時序圖的相似性的評估即為每個手勢關鍵點組成的時序圖的相似性之和。