[發明專利]一種基于深度學習的印刷體古箏簡譜識別方法及系統

在審

• 申請號: 202111459688.6
• 申請日: 2021-12-02
• 公開（公告）號: CN114332877A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 姚俊峰;鄭凱軒
• 申請（專利權）人: 廈門大學
• 主分類號: G06V30/304
• 分類號: G06V30/304;G06V30/41;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F40/143
• 代理公司: 廈門市新華專利商標代理有限公司 35203
• 代理人: 朱凌

1.一種基于深度學習的印刷體古箏簡譜識別方法，其特征在于：包括如下步驟：

步驟S10、獲取大量的鋼琴五線譜圖片以及對應的鋼琴MusicXML文件；

步驟S20、對各所述鋼琴五線譜圖片添加指法信息轉化為古箏簡譜圖片，對各所述鋼琴MusicXML文件進行數據標注得到古箏MusicXML文件；

步驟S30、對各所述古箏簡譜圖片進行數據擴充，得到圖片集；

步驟S40、基于端到端的深度卷積神經網絡創建一古箏簡譜識別模型，利用所述圖片集以及古箏MusicXML文件對古箏簡譜識別模型進行訓練；

步驟S50、利用訓練后的所述古箏簡譜識別模型對印刷體古箏簡譜進行自動識別。

2.如權利要求1所述的一種基于深度學習的印刷體古箏簡譜識別方法，其特征在于：所述步驟S20中，所述數據標注的信息至少包括音符位置、音符類別、音符時值、音符音高以及指法信息；

所述古箏簡譜圖片的格式為SVG。

3.如權利要求1所述的一種基于深度學習的印刷體古箏簡譜識別方法，其特征在于：所述步驟S30具體為：

對各所述古箏簡譜圖片隨機進行加性高斯白噪聲添加、彈性變換以及色彩變換，以進行數據擴充得到圖片集；

所述色彩變換為亮度、色調或者飽和度變換。

4.如權利要求1所述的一種基于深度學習的印刷體古箏簡譜識別方法，其特征在于：所述步驟S40具體包括：

步驟S41、基于端到端的深度卷積神經網絡創建一古箏簡譜識別模型，并設定一比例、一準確率閾值以及一收斂條件，基于所述比例將圖片集以及對應的古箏MusicXML文件劃分為訓練集和驗證集；

步驟S42、利用所述訓練集對古箏簡譜識別模型進行訓練，直至滿足所述收斂條件；

步驟S43、利用所述驗證集對訓練后的古箏簡譜識別模型進行驗證，判斷識別準確率是否大于所述準確率閾值，若是，則完成訓練，并進入步驟S50；若否，則擴充所述訓練集，并進入步驟S42。

5.如權利要求1所述的一種基于深度學習的印刷體古箏簡譜識別方法，其特征在于：所述步驟S50具體為：

拍攝印刷體古箏簡譜的簡譜圖像，將所述簡譜圖像輸入訓練后的古箏簡譜識別模型進行自動識別，得到對應的音符位置、音符類別、音符時值、音符音高以及指法信息。

6.一種基于深度學習的印刷體古箏簡譜識別系統，其特征在于：包括如下模塊：

鋼琴數據獲取模塊，用于獲取大量的鋼琴五線譜圖片以及對應的鋼琴MusicXML文件；

鋼琴數據重構模塊，用于對各所述鋼琴五線譜圖片添加指法信息轉化為古箏簡譜圖片，對各所述鋼琴MusicXML文件進行數據標注得到古箏MusicXML文件；

數據擴充模塊，用于對各所述古箏簡譜圖片進行數據擴充，得到圖片集；

古箏簡譜識別模型訓練模塊，用于基于端到端的深度卷積神經網絡創建一古箏簡譜識別模型，利用所述圖片集以及古箏MusicXML文件對古箏簡譜識別模型進行訓練；

印刷體古箏簡譜識別模塊，用于利用訓練后的所述古箏簡譜識別模型對印刷體古箏簡譜進行自動識別。

7.如權利要求6所述的一種基于深度學習的印刷體古箏簡譜識別系統，其特征在于：所述鋼琴數據重構模塊中，所述數據標注的信息至少包括音符位置、音符類別、音符時值、音符音高以及指法信息；

所述古箏簡譜圖片的格式為SVG。

8.如權利要求6所述的一種基于深度學習的印刷體古箏簡譜識別系統，其特征在于：所述數據擴充模塊具體為：

對各所述古箏簡譜圖片隨機進行加性高斯白噪聲添加、彈性變換以及色彩變換，以進行數據擴充得到圖片集；

所述色彩變換為亮度、色調或者飽和度變換。