[發(fā)明專利]一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識(shí)別方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111458277.5
• 申請(qǐng)日: 2021-12-02
• 公開（公告）號(hào): CN114332903A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 姚俊峰;何瑞晨;顏彬彬
• 申請(qǐng)（專利權(quán)）人: 廈門大學(xué)
• 主分類號(hào): G06V30/418
• 分類號(hào): G06V30/418;G06V30/304;G06V30/16;G06V10/74;G06K9/62;G06N3/04;G06N3/08;G06F40/242;G06F40/30;G06F40/143
• 代理公司: 廈門市新華專利商標(biāo)代理有限公司 35203
• 代理人: 朱凌

本發(fā)明提供了樂譜識(shí)別技術(shù)領(lǐng)域的一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識(shí)別方法及系統(tǒng)，方法包括：步驟S10、獲取大量的琵琶樂譜圖片以及各琵琶樂譜圖片對(duì)應(yīng)的MusicXML文件，對(duì)琵琶樂譜圖片進(jìn)行預(yù)處理；步驟S20、按行對(duì)各樂譜圖片進(jìn)行切割得到琵琶樂譜子圖片，基于琵琶樂譜子圖片切割對(duì)應(yīng)的MusicXML文件得到MusicXML子文件；步驟S30、將各MusicXML子文件轉(zhuǎn)換為MEI文件，基于預(yù)設(shè)的語義字典將各MEI文件轉(zhuǎn)換為語義文件；步驟S40、基于端到端神經(jīng)網(wǎng)絡(luò)創(chuàng)建一琵琶樂譜識(shí)別模型，利用各琵琶樂譜子圖片以及語義文件對(duì)琵琶樂譜識(shí)別模型進(jìn)行訓(xùn)練；步驟S50、利用訓(xùn)練后的琵琶樂譜識(shí)別模型進(jìn)行琵琶樂譜識(shí)別。本發(fā)明的優(yōu)點(diǎn)在于：實(shí)現(xiàn)對(duì)琵琶樂譜進(jìn)行自動(dòng)識(shí)別，極大的提升了琵琶樂譜的數(shù)字化效率。

技術(shù)領(lǐng)域

本發(fā)明涉及樂譜識(shí)別技術(shù)領(lǐng)域，特別指一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識(shí)別方法及系統(tǒng)。

背景技術(shù)

樂譜是一種用符號(hào)來記錄音樂的方法，傳統(tǒng)上，音樂大多通過手寫樂譜進(jìn)行傳播，為了對(duì)音樂遺產(chǎn)進(jìn)行保護(hù)和傳播，將樂譜進(jìn)行數(shù)字化并進(jìn)行保存至關(guān)重要。然而，通過人工對(duì)樂譜進(jìn)行一一錄制，不僅費(fèi)時(shí)費(fèi)力而且容易出錯(cuò)，因此產(chǎn)生了自動(dòng)識(shí)別樂譜的需求。

而現(xiàn)有技術(shù)中，沒有針對(duì)琵琶樂譜進(jìn)行自動(dòng)識(shí)別的方法。因此，如何提供一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識(shí)別方法及系統(tǒng)，實(shí)現(xiàn)對(duì)琵琶樂譜進(jìn)行自動(dòng)識(shí)別，成為一個(gè)亟待解決的技術(shù)問題。

發(fā)明內(nèi)容

本發(fā)明要解決的技術(shù)問題，在于提供一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識(shí)別方法及系統(tǒng)，實(shí)現(xiàn)對(duì)琵琶樂譜進(jìn)行自動(dòng)識(shí)別。

第一方面，本發(fā)明提供了一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識(shí)別方法，包括如下步驟：

步驟S10、獲取大量的琵琶樂譜圖片以及各琵琶樂譜圖片對(duì)應(yīng)的MusicXML文件，并對(duì)各所述琵琶樂譜圖片進(jìn)行預(yù)處理；

步驟S20、按行對(duì)各所述琵琶樂譜圖片進(jìn)行切割得到若干張琵琶樂譜子圖片，并基于所述琵琶樂譜子圖片切割對(duì)應(yīng)的MusicXML文件，得到若干個(gè)MusicXML子文件；

步驟S30、將各所述MusicXML子文件轉(zhuǎn)換為MEI文件，并基于預(yù)設(shè)的語義字典將各所述MEI文件轉(zhuǎn)換為語義文件；

步驟S40、基于端到端神經(jīng)網(wǎng)絡(luò)創(chuàng)建一琵琶樂譜識(shí)別模型，利用各所述琵琶樂譜子圖片以及語義文件對(duì)琵琶樂譜識(shí)別模型進(jìn)行訓(xùn)練；

步驟S50、利用訓(xùn)練后的所述琵琶樂譜識(shí)別模型進(jìn)行琵琶樂譜自動(dòng)識(shí)別。

進(jìn)一步地，所述步驟S10中，所述并對(duì)各所述琵琶樂譜圖片進(jìn)行預(yù)處理具體為：

并對(duì)各所述琵琶樂譜圖片依次進(jìn)行灰度化、二值化、降噪以及傾斜校正的預(yù)處理。

進(jìn)一步地，所述步驟S20具體為：

基于模板匹配法，對(duì)各所述琵琶樂譜圖片中，每行樂譜的上譜線進(jìn)行識(shí)別，進(jìn)而基于所述上譜線按行對(duì)各琵琶樂譜圖片進(jìn)行切割得到若干張琵琶樂譜子圖片；

識(shí)別各所述琵琶樂譜子圖片中的豎直譜線，利用所述豎直譜線判斷琵琶樂譜子圖片中包含的小節(jié)數(shù)，基于所述小節(jié)數(shù)以及MusicXML文件攜帶的標(biāo)簽對(duì)MusicXML文件進(jìn)行切割，得到若干個(gè)MusicXML子文件。

進(jìn)一步地，所述步驟S30具體為：

將各所述MusicXML子文件通過OMR工具網(wǎng)站轉(zhuǎn)換為MEI文件，并基于預(yù)設(shè)的語義字典將各所述MEI文件轉(zhuǎn)換為語義文件；

所述語義文件為包括音符信息、指法信息以及節(jié)奏信息的音符信息序列。

進(jìn)一步地，所述步驟S40具體為：