[發明專利]一種基于端到端神經網絡的琵琶樂譜識別方法及系統

在審

• 申請號: 202111458277.5
• 申請日: 2021-12-02
• 公開（公告）號: CN114332903A
• 公開（公告）日: 2022-04-12
• 發明（設計）人: 姚俊峰;何瑞晨;顏彬彬
• 申請（專利權）人: 廈門大學
• 主分類號: G06V30/418
• 分類號: G06V30/418;G06V30/304;G06V30/16;G06V10/74;G06K9/62;G06N3/04;G06N3/08;G06F40/242;G06F40/30;G06F40/143
• 代理公司: 廈門市新華專利商標代理有限公司 35203
• 代理人: 朱凌

本發明提供了樂譜識別技術領域的一種基于端到端神經網絡的琵琶樂譜識別方法及系統，方法包括：步驟S10、獲取大量的琵琶樂譜圖片以及各琵琶樂譜圖片對應的MusicXML文件，對琵琶樂譜圖片進行預處理；步驟S20、按行對各樂譜圖片進行切割得到琵琶樂譜子圖片，基于琵琶樂譜子圖片切割對應的MusicXML文件得到MusicXML子文件；步驟S30、將各MusicXML子文件轉換為MEI文件，基于預設的語義字典將各MEI文件轉換為語義文件；步驟S40、基于端到端神經網絡創建一琵琶樂譜識別模型，利用各琵琶樂譜子圖片以及語義文件對琵琶樂譜識別模型進行訓練；步驟S50、利用訓練后的琵琶樂譜識別模型進行琵琶樂譜識別。本發明的優點在于：實現對琵琶樂譜進行自動識別，極大的提升了琵琶樂譜的數字化效率。

技術領域

本發明涉及樂譜識別技術領域，特別指一種基于端到端神經網絡的琵琶樂譜識別方法及系統。

背景技術

樂譜是一種用符號來記錄音樂的方法，傳統上，音樂大多通過手寫樂譜進行傳播，為了對音樂遺產進行保護和傳播，將樂譜進行數字化并進行保存至關重要。然而，通過人工對樂譜進行一一錄制，不僅費時費力而且容易出錯，因此產生了自動識別樂譜的需求。

而現有技術中，沒有針對琵琶樂譜進行自動識別的方法。因此，如何提供一種基于端到端神經網絡的琵琶樂譜識別方法及系統，實現對琵琶樂譜進行自動識別，成為一個亟待解決的技術問題。

發明內容

本發明要解決的技術問題，在于提供一種基于端到端神經網絡的琵琶樂譜識別方法及系統，實現對琵琶樂譜進行自動識別。

第一方面，本發明提供了一種基于端到端神經網絡的琵琶樂譜識別方法，包括如下步驟：

步驟S10、獲取大量的琵琶樂譜圖片以及各琵琶樂譜圖片對應的MusicXML文件，并對各所述琵琶樂譜圖片進行預處理；

步驟S20、按行對各所述琵琶樂譜圖片進行切割得到若干張琵琶樂譜子圖片，并基于所述琵琶樂譜子圖片切割對應的MusicXML文件，得到若干個MusicXML子文件；

步驟S30、將各所述MusicXML子文件轉換為MEI文件，并基于預設的語義字典將各所述MEI文件轉換為語義文件；

步驟S40、基于端到端神經網絡創建一琵琶樂譜識別模型，利用各所述琵琶樂譜子圖片以及語義文件對琵琶樂譜識別模型進行訓練；

步驟S50、利用訓練后的所述琵琶樂譜識別模型進行琵琶樂譜自動識別。

進一步地，所述步驟S10中，所述并對各所述琵琶樂譜圖片進行預處理具體為：

并對各所述琵琶樂譜圖片依次進行灰度化、二值化、降噪以及傾斜校正的預處理。

進一步地，所述步驟S20具體為：

基于模板匹配法，對各所述琵琶樂譜圖片中，每行樂譜的上譜線進行識別，進而基于所述上譜線按行對各琵琶樂譜圖片進行切割得到若干張琵琶樂譜子圖片；

識別各所述琵琶樂譜子圖片中的豎直譜線，利用所述豎直譜線判斷琵琶樂譜子圖片中包含的小節數，基于所述小節數以及MusicXML文件攜帶的標簽對MusicXML文件進行切割，得到若干個MusicXML子文件。

進一步地，所述步驟S30具體為：

將各所述MusicXML子文件通過OMR工具網站轉換為MEI文件，并基于預設的語義字典將各所述MEI文件轉換為語義文件；

所述語義文件為包括音符信息、指法信息以及節奏信息的音符信息序列。

進一步地，所述步驟S40具體為：