[發(fā)明專利]一種基于音視頻信息的自動音樂記譜方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201210122443.9
• 申請日: 2012-04-24
• 公開（公告）號: CN103377647A
• 公開（公告）日: 2013-10-30
• 發(fā)明（設計）人: 周若華;顏永紅;萬玉龍
• 申請（專利權）人: 中國科學院聲學研究所;北京中科信利技術有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00
• 代理公司: 北京法思騰知識產(chǎn)權代理有限公司 11318
• 代理人: 楊小蓉;楊青

1.一種基于音視頻信息的自動音樂記譜方法，該方法采用多媒體技術自動完成鋼琴彈奏者的音樂記譜，所述方法包含如下步驟：

步驟101)錄制并采集鋼琴演奏的視頻和音頻數(shù)據(jù)，用于同步處理分析；

步驟102)依據(jù)采集的視頻信息采用視頻跟蹤算法獲取手部在鋼琴上的所有位置信息，根據(jù)所述手部位置信息確定演奏者所演奏的彈奏音符和各彈奏音符對應的彈奏時刻信息，即依據(jù)視頻采集信息獲得鋼琴彈奏的音符備選范圍序列集，簡稱“視頻音符備選范圍序列集”；

步驟103)對采集的音頻信息采用音頻自動音樂記譜算法獲取演奏者所演奏的彈奏音符的基頻信息，根據(jù)所述的基頻信息確定演奏者所演奏的彈奏音符和各彈奏音符對應的彈奏時刻信息，即依據(jù)音頻采集信息獲取鋼琴彈奏的音符備選范圍序列集，簡稱“音頻音符備選范圍序列集”；

步驟104)將步驟102)獲得的各個彈奏音符的所有手部位置信息和步驟103)獲得的各彈奏音符的基頻信息在時間上逐一進行對齊，并對對齊后的視頻音符備選范圍序列集和音頻音符備選范圍序列集取交集最終確定演奏者演奏的所有音符及這些音符的各個音符對應的彈奏時刻信息，完成對鋼琴演奏的自動音樂記譜；

其中，所述彈奏時刻信息包含：各個音符的開始彈奏時刻及持續(xù)時間。

2.根據(jù)權利要求1所述的用于自動記錄鋼琴彈奏者樂譜的方法，其特征在于，所述步驟102)的視頻跟蹤算法采用背景差分法及膚色檢測算法來跟蹤手部在鋼琴上的位置。

3.根據(jù)權利要求2所述的用于自動記錄鋼琴彈奏者樂譜的方法，其特征在于，所述步驟102)進一步包含如下子步驟：在演奏之前，手動完成鋼琴鍵盤的上下左右邊界的設定，同時保存空白鍵盤的幀作為背景幀；

待演奏開始后，將當前幀和背景幀都轉換成灰度圖像，并進行灰度圖像直方圖均衡化，做差分計算，得到差分動態(tài)部分的二值圖像；同時將背景幀和當前幀都轉換到HSV色彩空間及YCrCb色彩空間，分別在兩個色彩空間求背景幀與當前幀的差分，得到膚色部分的動態(tài)二值圖像；

對所得二值圖像進行中值濾波，膨脹腐蝕，最后兩兩求交集，進行輪廓檢測，圈定最大矩形輪廓，得到鋼琴鍵盤上手的活動范圍；

最后結合所圈定的鋼琴長寬及位置信息，等比例求得手部位置所對應的音符范圍。

4.根據(jù)權利要求1所述的用于自動記錄鋼琴彈奏者樂譜的方法，其特征在于，所述步驟103)音頻自動音樂記譜算法進一步包含：

首先對演奏的鋼琴采集其單音音符多種不同響度的樣點，進行RTFI頻譜分析獲取各樣點的諧波頻譜結構特征及RTFI平均能量譜的平均能量譜并存儲；

然后按照諧音組合原理，將RTFI平均能量譜轉換為基頻能量譜和相對基頻能量譜；

根據(jù)相對基頻能量譜算法采用峰拾取方法對可能出現(xiàn)的基頻進行初步預測；

然后根據(jù)音符的諧波頻譜結構特征和頻譜不規(guī)律性，消除錯誤預測。

5.一種基于音視頻信息的自動音樂記譜系統(tǒng)，該系統(tǒng)采用多媒體技術自動完成鋼琴彈奏者的音樂記譜，所述系統(tǒng)包含：

音視頻采集模塊，用于錄制并采集鋼琴演奏的視頻和音頻信息；

音頻分析模塊，用于將采集的音頻數(shù)據(jù)進行RTFI分析獲得RTFI平均能量譜，將獲得的RTFI平均能量譜，采用基于能量變化的切分方法得到音符的彈奏時刻和持續(xù)時間，運用快速非迭代方法對獲得的獲得基頻信息，結合音符的起始位置和多基頻信息得出大致的各個音符的范圍及這些音符的各個音符對應的彈奏時刻信息；

視頻數(shù)據(jù)分析模塊，用于將采集的視頻圖像進行圖像預處理和分析提取出所有音符對應的手部位置信息，并將所有手部位置信息輸入音視頻信息綜合處理模塊；和

音視頻信息綜合處理模塊，用于手部位置信息縮小音頻數(shù)據(jù)分析模塊的音符判定范圍，最終提取出所彈奏的各個音符的樂譜信息。