[發明專利]一種樂譜智能翻頁方法及裝置、電子設備、存儲介質

在審

• 申請號: 202210936724.1
• 申請日: 2022-08-05
• 公開（公告）號: CN115294591A
• 公開（公告）日: 2022-11-04
• 發明（設計）人: 高堯;王子超;何家建;魯文凱;周杜雯
• 申請（專利權）人: 浙江大學
• 主分類號: G06V30/418
• 分類號: G06V30/418;G06N3/04;G06N3/08;G10H1/00
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 邱啟旺

1.一種樂譜智能翻頁方法，其特征在于，包括：

(1)樂譜識別：對目標樂譜進行完整識別，轉換為相應的電子音頻，并得到每一頁樂譜的翻頁位置；

(2)樂音識別：實時提取音樂的第一時頻信息特征，時頻信息用于音頻之間的匹配；

(3)樂音樂譜匹配：將所述第一時頻信息特征和步驟(1)中生成的電子音頻提取的第二時頻信息特征進行匹配，識別所述第一時頻信息特征對應的音頻在所述目標樂譜中的位置，從而確定演奏者的演奏進度；

(4)驅動翻頁：根據所述每一頁樂譜的翻頁位置，若步驟(3)中樂音樂譜未匹配到達樂譜頁末尾，則返回步驟(2)；若步驟(3)中樂音樂譜匹配到達樂譜頁末尾，則發送翻頁信號，以實現智能翻頁。

2.根據權利要求1所述的方法，其特征在于，所述步驟(1)包括如下子步驟：

(1.1)利用霍夫直線檢測算法對樂譜頁RGB圖像進行傾斜校正；

(1.2)采用譜線追蹤方法對步驟(1.1)傾斜校正后的圖像進行彎曲矯正；

(1.3)利用中值濾波方法對步驟(1.2)進行彎曲矯正后的圖像進行噪聲過濾和二值化處理，得到二值化圖像；

(1.4)對步驟(1.3)得到的二值化圖像進行黑白反轉，通過依次對黑白反轉后的圖像二維數組中的每一行求和得到每根譜線的起始行坐標與垂直寬度，將所有相鄰譜線起始行坐標間距的中位數作為整體譜線間距，依次對圖像每一列數據中對應譜線行坐標的點進行檢測，若存在某個點的值為1且所在的值為1的一維連通區域長度小于等于該點所在的譜線的垂直寬度，則將該點所在的值為1的一維連通區域賦值為0，以達到去除譜線的效果；

(1.5)通過步驟(1.4)中得到的每根譜線的起始行位置和垂直寬度，依次將每10根譜線所在區域作為一個子部分，將一頁五線譜分割為若干個分別只含有一個高音區和一個低音區的子部分，利用基于卷積神經網絡的樂符分類器依次對每一子部分所有的連通區域進行識別，得到每一個連通區域最可能屬于的音符類別；

(1.6)合成電子音頻：根據步驟(1.5)的音符類別識別結果，通過高音譜號與低音譜號的位置與譜線的起始行位置確定音符所在區域邊界，獲取圖像內各音符的順序、時長和音高特征信息，并根據先驗知識對根據各音符的順序得到的音符序列進行誤差校正，以使得高音區和低音區音符時長之和相同，根據音符的順序、時長和音高信息合成電子音頻，在每一頁樂譜識別完畢后，將這一頁樂譜末尾在整個音頻中所處的時間節點添加進翻頁位置數組里。

3.根據權利要求2所述的方法，其特征在于，步驟(1.5)中的基于卷積神經網絡的樂符分類器包含一個卷積層、一個池化層和兩個全連接層，其中ReLU層作為激活函數層，訓練時選擇Adam梯度下降算法，所述卷積神經網絡的輸入為步驟(1.5)中每一子部分里每個連通區域的最小矩形邊界框里的樂符圖像，輸出為每個樂符圖像相應的樂符所屬類別。

4.根據權利要求2所述的方法，其特征在于，在步驟(1.6)中，獲取圖像內各音符的順序、時長和音高特征信息，包括：對于單音音符，直接得到音符時長，并根據音符邊界框與譜線的相對位置得到音符音高；對于和弦，直接得到音符時長，分別提取每一個音符頭的位置，通過每個音符頭與譜線的相對位置得到和弦對應的一串音符的音高；對于休止符，可以直接得到音符時長，并直接將音高設置為0；對于連音，通過檢測連音上方或下方存在的橫線數量確定音符時長，通過檢測音符頭的位置確定對應音符的音高；對于符點，如果符點位置位于某個已知時長的音符邊界框一個整體譜線間距范圍內，這個音符時長變為原來的1.5倍；對于重升號、升號、重降號、降號和復原號，如果它們位于某個已知音高的音符的邊界框一個整體譜線間距范圍內，根據它們代表的音樂含義對這個音符的音高進行修正；對于其它音樂符號暫不做處理。

5.根據權利要求2所述的方法，其特征在于，在步驟(1.6)對音符序列進行誤差校正中，如果檢測到某個子部分高音區時長之和與低音區時長之和不一致，則通過步驟(1.5)檢測到的小節線將這一子部分內高音區和低音區分割成各個小節，將各個小節時長之和的眾數定義為正確小節時長，如果檢測到其中一個小節對應音符時長不等于正確小節時長，對這個小節里最后一個音符的時長進行加減，直到這個小節音符的時長之和與正確小節時長相同。