[發明專利]一種基于深度學習的印刷體古箏簡譜識別方法及系統

在審

• 申請號: 202111459688.6
• 申請日: 2021-12-02
• 公開（公告）號: CN114332877A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 姚俊峰;鄭凱軒
• 申請（專利權）人: 廈門大學
• 主分類號: G06V30/304
• 分類號: G06V30/304;G06V30/41;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08;G06F40/143
• 代理公司: 廈門市新華專利商標代理有限公司 35203
• 代理人: 朱凌

本發明提供了樂譜識別技術領域的一種基于深度學習的印刷體古箏簡譜識別方法及系統，方法包括如下步驟：步驟S10、獲取大量的鋼琴五線譜圖片以及對應的鋼琴MusicXML文件；步驟S20、對各所述鋼琴五線譜圖片添加指法信息轉化為古箏簡譜圖片，對各所述鋼琴MusicXML文件進行數據標注得到古箏MusicXML文件；步驟S30、對各所述古箏簡譜圖片進行數據擴充，得到圖片集；步驟S40、基于端到端的深度卷積神經網絡創建一古箏簡譜識別模型，利用所述圖片集以及古箏MusicXML文件對古箏簡譜識別模型進行訓練；步驟S50、利用訓練后的所述古箏簡譜識別模型對印刷體古箏簡譜進行自動識別。本發明的優點在于：極大的提升了印刷體古箏簡譜識別效率以及精度。

技術領域

本發明涉及樂譜識別技術領域，特別指一種基于深度學習的印刷體古箏簡譜識別方法及系統。

背景技術

樂譜是一種用符號來記錄音樂的方法，對于音樂的初學者來說，如何讀懂樂譜至關重要，如果不能掌握樂譜，也就不能演奏出美妙的音樂，因此產生了識別樂譜以進行輔助教學的需求，類似英語點讀機識別英文單詞。

然而，針對印刷體古箏樂譜的識別，目前主要針對五線譜，沒有對簡譜的識別，且多采用OMR技術進行識別，而OMR技術識別樂譜的過程十分冗雜，識別過程中各步驟微小的變化都會對樂譜音符的識別精度造成影響。

因此，如何提供一種基于深度學習的印刷體古箏簡譜識別方法及系統，實現提升印刷體古箏簡譜識別效率以及精度，成為一個亟待解決的技術問題。

發明內容

本發明要解決的技術問題，在于提供一種基于深度學習的印刷體古箏簡譜識別方法及系統，實現提升印刷體古箏簡譜識別效率以及精度。

第一方面，本發明提供了一種基于深度學習的印刷體古箏簡譜識別方法，包括如下步驟：

步驟S10、獲取大量的鋼琴五線譜圖片以及對應的鋼琴MusicXML文件；

步驟S20、對各所述鋼琴五線譜圖片添加指法信息轉化為古箏簡譜圖片，對各所述鋼琴MusicXML文件進行數據標注得到古箏MusicXML文件；

步驟S30、對各所述古箏簡譜圖片進行數據擴充，得到圖片集；

步驟S40、基于端到端的深度卷積神經網絡創建一古箏簡譜識別模型，利用所述圖片集以及古箏MusicXML文件對古箏簡譜識別模型進行訓練；

步驟S50、利用訓練后的所述古箏簡譜識別模型對印刷體古箏簡譜進行自動識別。

進一步地，所述步驟S20中，所述數據標注的信息至少包括音符位置、音符類別、音符時值、音符音高以及指法信息；

所述古箏簡譜圖片的格式為SVG。

進一步地，所述步驟S30具體為：

對各所述古箏簡譜圖片隨機進行加性高斯白噪聲添加、彈性變換以及色彩變換，以進行數據擴充得到圖片集；

所述色彩變換為亮度、色調或者飽和度變換。

進一步地，所述步驟S40具體包括：

步驟S41、基于端到端的深度卷積神經網絡創建一古箏簡譜識別模型，并設定一比例、一準確率閾值以及一收斂條件，基于所述比例將圖片集以及對應的古箏MusicXML文件劃分為訓練集和驗證集；

步驟S42、利用所述訓練集對古箏簡譜識別模型進行訓練，直至滿足所述收斂條件；

步驟S43、利用所述驗證集對訓練后的古箏簡譜識別模型進行驗證，判斷識別準確率是否大于所述準確率閾值，若是，則完成訓練，并進入步驟S50；若否，則擴充所述訓練集，并進入步驟S42。

進一步地，所述步驟S50具體為：