[發明專利]一種樂譜識別方法及裝置

有效

• 申請號: 202010899308.X
• 申請日: 2020-08-31
• 公開（公告）號: CN112133264B
• 公開（公告）日: 2023-09-22
• 發明（設計）人: 陳超藝;陳新度;吳磊;李澤輝
• 申請（專利權）人: 廣東工業大學
• 主分類號: G10G3/04
• 分類號: G10G3/04;G06N3/0464;G06V30/304;G10H1/00
• 代理公司: 廣州專理知識產權代理事務所(普通合伙) 44493
• 代理人: 張鳳

1.一種樂譜識別方法，其特征在于，包括：

將樂譜圖像二值化后向y軸投影堆疊，生成樂譜特征圖像；

根據樂譜特征圖像，獲取樂譜圖像中的時值序列；

根據樂譜特征圖像，獲取樂譜圖像中的時值序列中各時值對應的音符數值；

根據所述時值序列及各時值對應音符數值，生成機器可視化樂譜圖像；

在所述將樂譜圖像二值化后向y軸投影堆疊，生成樂譜特征圖像的步驟之后，還包括：

確定所述樂譜特征圖像中的第一特征線性圖像；

根據所述第一特征線性圖像中各線段的粗細、x軸長度和y軸間隔，確定所述樂譜圖像中的時值圖像區域和音符圖像區域；

所述根據樂譜特征圖像，獲取樂譜圖像中的時值序列的步驟，包括：

將所述時值圖像區域向x軸投影堆疊，確定第二特征線性圖像；

根據第二特征線性圖像的x軸坐標，對時值圖像區域進行x向分割，獲取單時值圖像；

將各單時值圖像向y軸投影，確定第三特征線性圖像；

根據第三特征線性圖像，確定各單時值圖像對應的音符時值，并根據x向順序生成時值序列。

2.如權利要求1所述的樂譜識別方法，其特征在于，所述根據樂譜特征圖像，獲取樂譜圖像中的時值序列中各時值對應的音符數值的步驟，包括：

根據第一特征線性圖像，將音符圖像區域進行y向分割，獲取單譜線的音符圖像；

根據第二特征線性圖像，將所述各單譜線的音符圖像進行x向分割，獲取各單譜線的音符數字圖像；

采用卷積神經網絡對各音符數字圖像進行識別，確定音符數值；

確定各音符數值對應的x向和y向坐標。

3.如權利要求2所述的樂譜識別方法，其特征在于，所述根據所述時值序列及各時值對應音符數值，生成機器可視化樂譜圖像的步驟，包括：

生成機器可視化樂譜圖像模板，所述機器可視化樂譜圖像模板包括時值區域和音符矩陣區域，音符矩陣區域的各行與待演奏樂器的各弦對應；

在所述時值區域順序填入所述時值序列；

以所述時值序列的各音符時值為x坐標，以音符矩陣區域的各行為y坐標，填入對應的音符數值，生成機器可視化樂譜圖像。

4.一種樂譜識別裝置，其特征在于，包括：

第一生成模塊，用于將樂譜圖像二值化后向y軸投影堆疊，生成樂譜特征圖像；

第一獲取模塊，用于根據樂譜特征圖像，獲取樂譜圖像中的時值序列；

第二獲取模塊，用于根據樂譜特征圖像，獲取樂譜圖像中的時值序列中各時值對應的音符數值；

第二生成模塊，用于根據所述時值序列及各時值對應音符數值，生成機器可視化樂譜圖像；

樂譜識別裝置還包括：

第一確定模塊，用于確定所述樂譜特征圖像中的第一特征線性圖像；

第二確定模塊，用于根據所述第一特征線性圖像中各線段的粗細、x軸長度和y軸間隔，確定所述樂譜圖像中的時值圖像區域和音符圖像區域；

所述第一獲取模塊，包括：

第一確定單元，用于將所述時值圖像區域向x軸投影堆疊，確定第二特征線性圖像；

第一獲取單元，用于根據第二特征線性圖像的x軸坐標，對時值圖像區域進行x向分割，獲取單時值圖像；

第二確定單元，用于將各單時值圖像向y軸投影，確定第三特征線性圖像；

第三確定單元，用于根據第三特征線性圖像，確定各單時值圖像對應的音符時值，并根據x向順序生成時值序列。

5.根據權利要求4所述的樂譜識別裝置，其特征在于，所述第二獲取模塊，包括：

第二獲取單元，用于根據第一特征線性圖像，將音符圖像區域進行y向分割，獲取單譜線的音符圖像；

第三獲取單元，用于根據第二特征線性圖像，將所述各單譜線的音符圖像進行x向分割，獲取各單譜線的音符數字圖像；

第四確定單元，用于采用卷積神經網絡對各音符數字圖像進行識別，確定音符數值；

第五確定單元，用于確定各音符數值對應的x向和y向坐標。

6.根據權利要求5所述的樂譜識別裝置，其特征在于，所述第二生成模塊，包括：

第一生成單元，用于生成機器可視化樂譜圖像模板，所述機器可視化樂譜圖像模板包括時值區域和音符矩陣區域，音符矩陣區域的各行與待演奏樂器的各弦對應；

處理單元，用于在所述時值區域順序填入所述時值序列；

第二生成單元，以所述時值序列的各音符時值為x坐標，以音符矩陣區域的各行為y坐標，填入對應的音符數值，生成機器可視化樂譜圖像。