[發明專利]一種樂譜識別分類及演奏控制方法

在審

• 申請號: 201811375423.6
• 申請日: 2018-11-19
• 公開（公告）號: CN109522959A
• 公開（公告）日: 2019-03-26
• 發明（設計）人: 嚴復剛;于福航
• 申請（專利權）人: 哈爾濱理工大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/08;G06N3/12;G06T5/00;G06T7/13
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開的樂譜圖像識別方法及演奏控制方法，包括，獲取待處理的樂譜：先通過K近鄰算法去除樂譜上的無用點，再對樂譜進行基于高斯?拉普拉斯算子的邊緣檢測獲取樂譜內容；用LSD算法獲取樂符的位置，以直線位置及相對距離判斷樂譜類別；通過樂譜分類器進行分類，然后將分類過的樂譜進行圖像分割，得到獨立音符的圖像；將獲得圖像分表層和里層，表層識別音符，里層識別連音符，將表里層分別輸入卷積神經網絡，再將識別后的結果結合，得到完整的樂符，并將音符與相應電機控制進給相關聯，實現數控平臺自主識別樂譜及彈琴的目標。本專利發明的樂譜識別方法及裝置，相比于現有的其他同類方法，具有識別范圍廣，識別精度及魯棒性高等特點。

技術領域

本發明涉及機器視覺技術領域，特別涉及一種樂譜圖像識別及分類方法。

背景技術

機器視覺，是指通過機器視覺產品將被攝取目標轉換成圖像信號，傳送給專用的圖像處理系統，得到被攝目標的形態信息，根據像素分布和亮度、顏色等信息，轉變成數字化信號，圖像系統對這些信號進行各種運算來抽取目標的特征，進而根據判別的結果來控制現場的設備動作。

現有的樂譜圖像識別方法大多只能識別特定的樂譜（如單獨識別五線譜或簡譜），有的圖像識別方法還基于傳統計算機識別方法，無法做到快速精確識別，有的還需要對識別的樂譜做出高度規范化要求，不利于使用。

發明內容

本發明旨在提供一種樂譜圖像識別分類及彈奏控制方法，可以解決目前樂譜識別精度不高及樂譜識別規范過多等問題。

為達上述目的，本發明實施例公開了，一種樂譜圖像識別分類及彈奏控制方法，包括：獲取待處理的簡譜或五線譜圖像，并對其使用K近鄰算法進行圖像的預處理以去除圖像上的無用點；隨后采用基于高斯-拉普拉斯算子（LOG）的邊緣檢測方法，對圖像進行傾斜校正并獲取經圖像濾波、增強、檢測和定位后的圖像1；對圖像中的樂譜進行識別分類：通過采用直線檢測中的LSD算法獲取音符位置，并通過直線聚類與直線篩選對圖像1進行去噪，然后輸入樂譜分類器中對圖像1中的直線間的相對距離與預設的閾值進行比較，判斷得到樂譜的類別，即五線譜或簡譜；將分類后的五線譜或簡譜分別輸入已訓練好的不同參數的遺傳算法（因五線譜與簡譜的音符大小不同，故訓練參數稍有不同）進行圖像分割從而獲得每個獨立音符的圖像2；將圖像2分成表層和里層，分別輸入到已訓練好的卷積神經網絡中，表層識別音符、里層識別連音符，經過神經網絡識別后將識別后的音符和連音符組成完整的音符，獲得標準的音符；通過獲得的標準音符匹配音符庫中的音符，并將標準音符所對應地音符庫中的音符所對應的數控音樂平臺控制指令調出，按照目標指令進行彈奏。

優選的，對待處理的樂譜圖像進行初次濾波的預處理，包括：首先采用K近鄰算法（KNN）對獲取到的圖像進行邊緣平滑濾波，再采用斑點（Blob）檢測的方法，識別音符旁的連音連奏符，斷音斷奏符，附點等連音符。

優選的，所述的樂譜圖像識別方法，其特征在于，對識別的樂譜使用基于LOG算子的邊緣檢測方法，對圖像進行傾斜校正并獲取經圖像濾波、增強、檢測和定位，得到圖像1，其中包括：

a)選用LOG算子：；

b)選用LOG常用模板：。

優選的，通過采用直線檢測中的LSD算法獲取樂譜每行中的音符位置，并通過直線聚類與直線篩選對圖像1中的直線進行去噪，并將獲得的圖像1中最短的直線距離輸入樂譜分類器中，根據分類器內預設的閾值判斷樂譜類別，即五線譜或簡譜。

優選的，將分類完的五線譜或簡譜圖像分別輸入訓練好的遺傳算法中進行圖像分割從而獲得每個完整獨立的音符圖像，記為圖像2。

優選的，將獲得的圖像2分成表層和里層，表層為音符主體，里層為連音符，休止符等修飾音符，然后將表層和里層分別輸入預設的卷積神經網絡中識別，將識別出表里層音符組合成完整音符，即為目標音符。