[發明專利]一種用于輔助鋼琴教學的智能識別彈奏錯誤的方法及系統

在審

• 申請號: 202110982026.0
• 申請日: 2021-08-25
• 公開（公告）號: CN113723264A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 韓冰冰;陶之雨;鄭慶偉
• 申請（專利權）人: 桂林智神信息技術股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

1.一種用于輔助鋼琴教學的智能識別彈奏錯誤的方法，其特征在于，所述方法包括：

從鋼琴鍵盤上方獲取彈奏鋼琴的包含完整鋼琴鍵盤的2D圖像；

通過鋼琴鍵盤檢測網絡對所述2D圖像進行目標檢測以檢測出以2D圖像的相對位置坐標表示的鋼琴鍵盤區域，并將所述用于表示鋼琴鍵盤區域的2D圖像的相對位置坐標轉換為2D圖像原始坐標系下的坐標以獲得2D圖像原始坐標下的鋼琴鍵盤位置坐標；

通過手部檢測網絡對以鋼琴鍵盤位置坐標表示的鋼琴鍵盤區域進行目標檢測以檢測出以鋼琴鍵盤區域的相對位置坐標表示的手部區域，并將所述用于表示手部區域的鋼琴鍵盤區域的相對位置坐標轉換為2D圖像原始坐標系下的坐標以獲得2D圖像原始坐標下的手部位置坐標；

通過手型錯誤檢測網絡識別以手部位置坐標表示的手部區域中的手型錯誤類型以及以手部區域的相對位置坐標表示的手型錯誤位置，并將所述用于表示手型錯誤位置的手部區域的相對位置坐標轉換為2D圖像原始坐標系下的坐標以獲得2D圖像原始坐標下的手型錯位位置坐標。

2.根據權利要求1所述的用于輔助鋼琴教學的智能識別彈奏錯誤的方法，其特征在于，所述方法還包括：

從所述以鋼琴鍵盤位置坐標表示的鋼琴鍵盤區域中將每個琴鍵劃分出來得到以鋼琴鍵盤區域的相對位置坐標表示的不同琴鍵，并將每個用于表示琴鍵的鋼琴鍵盤區域的相對位置坐標轉換為2D圖像原始坐標系下的坐標以獲得2D圖像原始坐標下的琴鍵坐標；

通過指尖特征點檢測網絡從以手部位置坐標表示的手部區域中檢測出以手部區域的相對位置坐標表示的不同手指的指尖特征點，并將每個用于表示不同手指的指尖特征點的手部區域的相對位置坐標轉換為2D圖像原始坐標系下的坐標以獲得2D圖像原始坐標下的指尖坐標；

基于指尖坐標和琴鍵坐標進行位置判斷，將落在琴鍵上的指尖與該琴鍵進行綁定獲得手指按鍵綁定關系，并將彈奏同一個音符的手指按鍵綁定關系和曲譜數據庫中的標準綁定關系進行對比以檢測指法錯誤。

3.根據權利要求1所述的用于輔助鋼琴教學的智能識別彈奏錯誤的方法，其特征在于，還包括：

在檢測出鋼琴鍵盤區域后，將鋼琴鍵盤區域進行第一預設像素的擴展，獲得包含完整手部的鋼琴鍵盤有效區域。

4.根據權利要求3所述的用于輔助鋼琴教學的智能識別彈奏錯誤的方法，其特征在于，所述第一預設像素為200像素。

5.根據權利要求1所述的用于輔助鋼琴教學的智能識別彈奏錯誤的方法，其特征在于，還包括：

在檢測出手部區域后，基于鋼琴鍵盤位置坐標和手部位置坐標的對比，過濾掉未落在鋼琴鍵盤上的手，將落在鋼琴鍵盤上的手的坐標邊界向四個方向進行第二預設像素的擴展，獲得包含落在鋼琴鍵盤上的手的完整手部的手部區域以及對應手部位置坐標。

6.根據權利要求5所述的用于輔助鋼琴教學的智能識別彈奏錯誤的方法，其特征在于，所述第二預設像素為30像素。