[發明專利]一種將五線譜圖像轉換為聲音文件的方法

無效

• 申請號: 200910307828.0
• 申請日: 2009-09-28
• 公開（公告）號: CN101661745A
• 公開（公告）日: 2010-03-03
• 發明（設計）人: 張海英;郭人通;郝貴青;陽鋒;劉國勝;肖盛杰;張巖;陳常晉;張雷;李玉軍
• 申請（專利權）人: 西安理工大學
• 主分類號: G10H7/00
• 分類號: G10H7/00;G06K9/00;G10L13/02
• 代理公司: 西安弘理專利事務所
• 代理人: 羅 笛

1.一種將五線譜圖像轉換為聲音文件的方法，其特征在于，具體按照以下步驟實施：

步驟1：定義音符代碼，錄制音符的標準聲音文件

給每個音符定義一個代碼，代碼由四位十進制數組成，第一位為音高，第二位為音名，第三位為音調轉換標記，第四位為音長；將每個音符按照規定的音高、音名、音調和音長，錄制成標準聲音文件，存儲在計算機中；

步驟2：采集五線譜圖像

用掃描儀或攝像頭獲取要識別的五線譜圖像，以圖片格式文件存儲在計算機中；

步驟3：計算機識別五線譜圖像中的小節線、含符干音符、全音符、升降記號、休止符以及譜號，將識別結果轉換為音符代碼后再存儲為聲音文件；

具體按照以下步驟實施：

步驟1）：圖像的二值化

（1）將彩色圖像轉換為灰度圖像

計算機對RGB三色彩通道位圖上的值求圖像灰度加權和，采用以下公式：

Gray?=?Red?*?0.30?+?Gre?*?0.59?+?Blu?*?0.11

得到圖像中各個像素的灰度值；

（2）確定閾值

對灰度圖像進行取樣，采用大津法對收集到的數據進行處理，獲得二值化的閾值，對待處理圖像，記t為前景與背景的分割閾值，前景點數占圖像比例為w0，平均灰度為u0；背景點數占圖像比例為w1，平均灰度為u1，圖像的總平均灰度為：u=w0*u0+w1*u1，從最小灰度值到最大灰度值遍歷t，當t使得值g=w0*w1*(u0-u1)^2最大時t即為分割的最佳閾值；

（3）二值化

灰度值大于或等于閾值的像素，其灰度值用1表示，表示屬于前景；否則，灰度值用0表示，像素點被排除在物體區域以外，表示背景或者例外的物體區域；

步驟2）：確定各譜線的位置及相鄰線之間的平均間距，并擦除譜線

（1）確定譜線位置及相鄰線之間的平均間距

對上步得到的二值圖進行橫向投影，在投影值列表中找到5個最大的值，取他們的平均值，記為MA，將閾值設為0.5MA，投影值大于這個值則判定該條線可能為譜線，稱為候選譜線，在確定圖中各候選譜線后，對各相鄰線的非零線間寬進行統計，找出占比重最大一組，將其值確定為單位元長度D；

（2）譜線的擦除

譜線的邊界使用B2×n矩陣進行描述，其中n為譜線的長度，B1j為上邊界的縱坐標，B2j為下邊界的縱坐標，其中0?＜?j?≤?n，

在出現譜線組的位置，分別對五條譜線所處區域做橫向掃描，當像素點連續為前景的次數大于某設定閾值時，認為這條線段是構成當前譜線的一部分，將該線段上各點與B2×n矩陣中相應的邊界坐標比較，若小于現有上邊界或大于現有下邊界，則更新邊界信息，處理完區域內所有的像素點后，得到完整的橫向線邊界描述；

步驟3）：圖像的分割

若相鄰兩組譜線的間距大于8D，則在距邊沿譜線4D處進行分割；若相鄰兩組譜線的間距小于8D，則在間隔部分的平分線處進行分割；

步驟4）：圖像的識別

（1）小節線及含符干音符的識別

a.?縱向線段的識別

對分割后的圖像做縱向投影，設Sc?為投影篩選閾值，Sv為縱向線判定閾值，Bt?為最大斷筆次數，Db為最大斷筆距離，判定縱向線時，按以下步驟進行：

若當前列的投影值小于Sc，則判定該列上不可能存在縱向線，這一列直接跳過，轉向下一列進行處理，若當前列投影值大于Sc，轉下一步；

從上至下逐點查看權值，找出存在于當前列的所有離散線段；

若上下相鄰兩線段的間隔小于Db，那么認為這個間隔是斷筆，可以將這兩條線段連為一條，如此構成的長線段中，存在的斷筆次數不能超過Bt；

在線段拼接后，若當前列中最長線段的長度大于Sv，則判定這條線段是一條縱向線；

b.橫梁式符尾的識別

對于相鄰的兩個矩形塊，取它們對應端點坐標的差值，直除后獲得連接兩個頂端或兩個底端的線段，在一定的范圍內縱向平移該線段，若線段所處位置上點的權值都為1，則認為在當前位置上存在一條橫梁式符尾；

c.?符頭的識別

對符桿的左下方和右上方依次測試，若出現了一個類似符頭大小的前景區域，則認為此位置存在一個實心符頭；在一個符頭的范圍內做縱向求交測試，若交點次數普遍為2，則認為此位置存在一個空符頭；

d.?獨立符尾的識別

若符頭出現在符桿的左下方，則符尾將出現在符桿的右上方；若符頭出現在符桿的右上方，則符尾將出現在符桿的右下方，在符尾可能出現的區域做縱向求交測試，對各列的交點總數進行統計，將出現頻率最高的值確定為當前音符的符尾條數；

e.?小節線的識別

在音符的識別之后，查看剩余矩形塊的特征，若矩形塊的頂端位于第五線，底端位于第一線，且左右兩側0.5D范圍內各列的縱向投影值均近似為0，則認為該矩形塊為一個小節線；

f.?擦除

識別完畢后，分別擦除符干、小節線、符尾和符頭；

（2）全音符、升降記號、休止符以及譜號的識別

a.?確定外接矩形

對于圖中每一個前景的八向連通區域，確定一個與之對應的外接矩形，每一個外接矩形都有4個屬性：X軸方向的起始坐標X1、終止坐標X2和Y軸方向的起始坐標Y1、終止坐標Y2，

確定外接矩形的算法如下：

將圖像進行縱向投影，對投影值Yi，0＜i≤圖像寬度，進行判斷：若Yi＞0且Yi-1??=?0，則i為外接矩形的左邊界X1；若Yi＞0且Yi+1??=?0，則i為外接矩形的右邊界X2；

將圖像進行橫向投影，把X1、X2作為橫向投影的兩個邊界，對投影值Xi，X1≤i≤X2，進行判斷：若Xi>0且Xi-1=0，則i為外接矩形的上邊界Y1；若Xi>0且Xi+1=0，則i為外接矩形的下邊界Y2；

確定了外接矩形后，將這些外接矩形依次與全音符、升降記號、休止符以及譜號的標準外接矩形匹配，進行初步篩選；

b.?細節投影值特征匹配

對外接矩形所確定的區域進行縱向投影，確定一條特征曲線，設定一導數閾值Sd，若曲線上某點處導數絕對值大于等于Sd，則在此處取斷點，由各斷點可將曲線分為若干段，取兩類數值作為細節匹配的特征值：一是曲線段的所在區間的長度，二是區間內曲線所對應函數的平均函數值，由若干個曲線段獲得了一組特征序列；

根據上述方法對全音符、升降記號、休止符以及譜號的標準圖像進行處理，得到這些音符的標準特征序列，即匹配過程中的參考量；

在處理待匹配對象后，獲得其特征序列，待匹配對象的特征序列與標準特征序列的匹配方法如下：

首先求標準特征序列與待測符號特征序列的最長公共子序列；計算匹配度，即最長公共子序列長度除以標準特征序列長度，若匹配度大于設定的閥值，則認為在縱向上該匹配對象與所對應的標準音符匹配；

步驟5）：將圖像的識別結果轉換為音符代碼

根據上步得到的帶符干音符的符頭位置和全音符的位置，確定樂譜中音符的音高和音名；根據上步得到的帶符干音符的符尾、符頭類型及全音符，確定音符的音長；根據上步得到的休止符的類型，確定休止符的音長；根據上步得到的升降號位置，確定音調轉換標記；

步驟6）：將音符代碼轉換為聲音文件

將上步識別得到的音符代碼，以聲音文件的格式存儲于計算機中；

步驟4：播放聲音文件

對照步驟1得到的標準聲音文件，播放步驟3得到的聲音文件，即為要識別的五線譜圖像中音符的聲音。