[發(fā)明專利]一種樂譜識(shí)別方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202010899308.X
• 申請(qǐng)日: 2020-08-31
• 公開（公告）號(hào): CN112133264B
• 公開（公告）日: 2023-09-22
• 發(fā)明（設(shè)計(jì)）人: 陳超藝;陳新度;吳磊;李澤輝
• 申請(qǐng)（專利權(quán)）人: 廣東工業(yè)大學(xué)
• 主分類號(hào): G10G3/04
• 分類號(hào): G10G3/04;G06N3/0464;G06V30/304;G10H1/00
• 代理公司: 廣州專理知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44493
• 代理人: 張鳳

本發(fā)明公開了一種樂譜識(shí)別方法及裝置，所述方法包括：將樂譜圖像二值化后向y軸投影堆疊，生成樂譜特征圖像；根據(jù)樂譜特征圖像，獲取樂譜圖像中的時(shí)值序列；根據(jù)樂譜特征圖像，獲取樂譜圖像中的時(shí)值序列中各時(shí)值對(duì)應(yīng)的音符數(shù)值；根據(jù)所述時(shí)值序列及各時(shí)值對(duì)應(yīng)音符數(shù)值，生成機(jī)器可視化樂譜圖像。所述裝置使用了所述方法。本發(fā)明實(shí)現(xiàn)了機(jī)器對(duì)樂譜的自動(dòng)識(shí)別，免除了人為錄入樂譜數(shù)據(jù)的復(fù)雜操作，節(jié)省了時(shí)間和人力；同時(shí)保障了樂譜圖像識(shí)別的準(zhǔn)確率，提高了識(shí)別可靠性。

技術(shù)領(lǐng)域

本發(fā)明涉及自動(dòng)化領(lǐng)域，尤其涉及一種樂譜識(shí)別方法及裝置。

背景技術(shù)

現(xiàn)有的弦樂器如吉他或琵琶等通常通過撥動(dòng)和按壓琴弦實(shí)現(xiàn)演奏，隨著機(jī)器智能化和自動(dòng)化的發(fā)展，近年來機(jī)器人技術(shù)也逐漸開始應(yīng)用于上述弦樂器中。

然而，現(xiàn)有的自動(dòng)演奏機(jī)器人需要人工對(duì)樂譜數(shù)據(jù)進(jìn)行錄入，操作較為復(fù)雜，自動(dòng)化程度低，耗費(fèi)時(shí)間和人力。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)中人工錄入樂譜自動(dòng)化程度低，耗費(fèi)時(shí)間和人力的問題，本發(fā)明實(shí)施例一方面提供了一種樂譜識(shí)別方法，包括：

將樂譜圖像二值化后向y軸投影堆疊，生成樂譜特征圖像；

根據(jù)樂譜特征圖像，獲取樂譜圖像中的時(shí)值序列；

根據(jù)樂譜特征圖像，獲取樂譜圖像中的時(shí)值序列中各時(shí)值對(duì)應(yīng)的音符數(shù)值；

根據(jù)所述時(shí)值序列及各時(shí)值對(duì)應(yīng)音符數(shù)值，生成機(jī)器可視化樂譜圖像。

進(jìn)一步，上述在所述將樂譜圖像二值化后向y軸投影堆疊，生成樂譜特征圖像的步驟之后，還包括：

確定所述樂譜特征圖像中的第一特征線性圖像；

根據(jù)所述第一特征線性圖像中各線段的粗細(xì)、x軸長(zhǎng)度和y軸間隔，確定所述樂譜圖像中的時(shí)值圖像區(qū)域和音符圖像區(qū)域。

進(jìn)一步，上述所述根據(jù)樂譜特征圖像，獲取樂譜圖像中的時(shí)值序列的步驟，包括：

將所述時(shí)值圖像區(qū)域向x軸投影堆疊，確定第二特征線性圖像；

根據(jù)第二特征線性圖像的x軸坐標(biāo)，對(duì)時(shí)值圖像區(qū)域進(jìn)行x向分割，獲取單時(shí)值圖像；

將各單時(shí)值圖像向y軸投影，確定第三特征線性圖像；

根據(jù)第三特征線性圖像，確定各單時(shí)值圖像對(duì)應(yīng)的音符時(shí)值，并根據(jù)x向順序生成時(shí)值序列。

進(jìn)一步，上述所述根據(jù)樂譜特征圖像，獲取樂譜圖像中的時(shí)值序列中各時(shí)值對(duì)應(yīng)的音符數(shù)值的步驟，包括：

根據(jù)第一特征線性圖像，將音符圖像區(qū)域進(jìn)行y向分割，獲取單譜線的音符圖像；

根據(jù)第二特征線性圖像，將所述各單譜線的音符圖像進(jìn)行x向分割，獲取各單譜線的音符數(shù)字圖像；

采用卷積神經(jīng)網(wǎng)絡(luò)對(duì)各音符數(shù)字圖像進(jìn)行識(shí)別，確定音符數(shù)值；

確定各音符數(shù)值對(duì)應(yīng)的x向和y向坐標(biāo)。

進(jìn)一步，上述所述根據(jù)所述時(shí)值序列及各時(shí)值對(duì)應(yīng)音符數(shù)值，生成機(jī)器可視化樂譜圖像的步驟，包括：

生成機(jī)器可視化樂譜圖像模板，所述機(jī)器可視化樂譜圖像模板包括時(shí)值區(qū)域和音符矩陣區(qū)域，音符矩陣區(qū)域的各行與待演奏樂器的各弦對(duì)應(yīng)；

在所述時(shí)值區(qū)域順序填入所述時(shí)值序列；

以所述時(shí)值序列的各音符時(shí)值為x坐標(biāo)，以音符矩陣區(qū)域的各行為y坐標(biāo)，填入對(duì)應(yīng)的音符數(shù)值，生成機(jī)器可視化樂譜圖像。

本發(fā)明實(shí)施例另一方面提供了一種樂譜識(shí)別裝置，包括：