[發(fā)明專利]一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202111458277.5
• 申請日: 2021-12-02
• 公開（公告）號: CN114332903A
• 公開（公告）日: 2022-04-12
• 發(fā)明（設(shè)計(jì)）人: 姚俊峰;何瑞晨;顏彬彬
• 申請（專利權(quán)）人: 廈門大學(xué)
• 主分類號: G06V30/418
• 分類號: G06V30/418;G06V30/304;G06V30/16;G06V10/74;G06K9/62;G06N3/04;G06N3/08;G06F40/242;G06F40/30;G06F40/143
• 代理公司: 廈門市新華專利商標(biāo)代理有限公司 35203
• 代理人: 朱凌

1.一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別方法，其特征在于：包括如下步驟：

步驟S10、獲取大量的琵琶樂譜圖片以及各琵琶樂譜圖片對應(yīng)的MusicXML文件，并對各所述琵琶樂譜圖片進(jìn)行預(yù)處理；

步驟S20、按行對各所述琵琶樂譜圖片進(jìn)行切割得到若干張琵琶樂譜子圖片，并基于所述琵琶樂譜子圖片切割對應(yīng)的MusicXML文件，得到若干個MusicXML子文件；

步驟S30、將各所述MusicXML子文件轉(zhuǎn)換為MEI文件，并基于預(yù)設(shè)的語義字典將各所述MEI文件轉(zhuǎn)換為語義文件；

步驟S40、基于端到端神經(jīng)網(wǎng)絡(luò)創(chuàng)建一琵琶樂譜識別模型，利用各所述琵琶樂譜子圖片以及語義文件對琵琶樂譜識別模型進(jìn)行訓(xùn)練；

步驟S50、利用訓(xùn)練后的所述琵琶樂譜識別模型進(jìn)行琵琶樂譜自動識別。

2.如權(quán)利要求1所述的一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別方法，其特征在于：所述步驟S10中，所述并對各所述琵琶樂譜圖片進(jìn)行預(yù)處理具體為：

并對各所述琵琶樂譜圖片依次進(jìn)行灰度化、二值化、降噪以及傾斜校正的預(yù)處理。

3.如權(quán)利要求1所述的一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別方法，其特征在于：所述步驟S20具體為：

基于模板匹配法，對各所述琵琶樂譜圖片中，每行樂譜的上譜線進(jìn)行識別，進(jìn)而基于所述上譜線按行對各琵琶樂譜圖片進(jìn)行切割得到若干張琵琶樂譜子圖片；

識別各所述琵琶樂譜子圖片中的豎直譜線，利用所述豎直譜線判斷琵琶樂譜子圖片中包含的小節(jié)數(shù)，基于所述小節(jié)數(shù)以及MusicXML文件攜帶的標(biāo)簽對MusicXML文件進(jìn)行切割，得到若干個MusicXML子文件。

4.如權(quán)利要求1所述的一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別方法，其特征在于：所述步驟S30具體為：

將各所述MusicXML子文件通過OMR工具網(wǎng)站轉(zhuǎn)換為MEI文件，并基于預(yù)設(shè)的語義字典將各所述MEI文件轉(zhuǎn)換為語義文件；

所述語義文件為包括音符信息、指法信息以及節(jié)奏信息的音符信息序列。

5.如權(quán)利要求1所述的一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別方法，其特征在于：所述步驟S40具體為：

基于端到端的卷積遞歸神經(jīng)網(wǎng)絡(luò)創(chuàng)建一琵琶樂譜識別模型，將各所述琵琶樂譜子圖片作為琵琶樂譜識別模型的輸入，各所述琵琶樂譜子圖片對應(yīng)的語義文件作為琵琶樂譜識別模型的輸出，對所述琵琶樂譜識別模型進(jìn)行訓(xùn)練；

所述琵琶樂譜識別模型的損失函數(shù)采用CTC函數(shù)。

6.一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別系統(tǒng)，其特征在于：包括如下模塊：

琵琶樂譜圖片及MusicXML文件獲取模塊，用于獲取大量的琵琶樂譜圖片以及各琵琶樂譜圖片對應(yīng)的MusicXML文件，并對各所述琵琶樂譜圖片進(jìn)行預(yù)處理；

琵琶樂譜圖片及MusicXML文件切割模塊，用于按行對各所述琵琶樂譜圖片進(jìn)行切割得到若干張琵琶樂譜子圖片，并基于所述琵琶樂譜子圖片切割對應(yīng)的MusicXML文件，得到若干個MusicXML子文件；

語義轉(zhuǎn)換模塊，用于將各所述MusicXML子文件轉(zhuǎn)換為MEI文件，并基于預(yù)設(shè)的語義字典將各所述MEI文件轉(zhuǎn)換為語義文件；

琵琶樂譜識別模型訓(xùn)練模塊，用于基于端到端神經(jīng)網(wǎng)絡(luò)創(chuàng)建一琵琶樂譜識別模型，利用各所述琵琶樂譜子圖片以及語義文件對琵琶樂譜識別模型進(jìn)行訓(xùn)練；

琵琶樂譜自動識別模型，用于利用訓(xùn)練后的所述琵琶樂譜識別模型進(jìn)行琵琶樂譜自動識別。

7.如權(quán)利要求6所述的一種基于端到端神經(jīng)網(wǎng)絡(luò)的琵琶樂譜識別系統(tǒng)，其特征在于：所述琵琶樂譜圖片及MusicXML文件獲取模塊中，所述并對各所述琵琶樂譜圖片進(jìn)行預(yù)處理具體為：

并對各所述琵琶樂譜圖片依次進(jìn)行灰度化、二值化、降噪以及傾斜校正的預(yù)處理。