[發明專利]一種基于音視頻信息的自動音樂記譜方法及系統

有效

• 申請號: 201210122443.9
• 申請日: 2012-04-24
• 公開（公告）號: CN103377647A
• 公開（公告）日: 2013-10-30
• 發明（設計）人: 周若華;顏永紅;萬玉龍
• 申請（專利權）人: 中國科學院聲學研究所;北京中科信利技術有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00
• 代理公司: 北京法思騰知識產權代理有限公司 11318
• 代理人: 楊小蓉;楊青

技術領域

本發明涉及一種應用于鋼琴計算機輔助教學的自動音樂記譜技術，更具體地說，本發明涉及基于音視頻結合的鋼琴自動音樂記譜技術，即本發明提供了一種基于音視頻信息的自動音樂記譜方法及系統。

背景技術

自動音樂記譜是指用計算機分析技術將音樂聲學信號轉換成符號代表，將其所對應的樂譜信息自動翻譯出來。它使計算機具有一定程度“聽懂“音樂，并完成記譜的能力，在音樂信號處理和分析領域中，有著十分重要的位置，同時也是一個極具挑戰性的世界難題.通常音樂記譜需要受過專門訓練的音樂工作者人工完成，要耗費大量的時間和人力。自動音樂記譜極大的方便了自動化音樂分析和音樂注釋，可被廣泛用于基于內容的音樂檢索，音樂教育，音樂創作，低位率的壓縮編碼和自動音樂伴奏系統等，是音樂信號處理中的關鍵技術。

由于絕大多數音樂都是復音音樂，因此復音音樂自動記譜是該領域的重點和難點，從斯坦福大學70年代開發第一個計算機復音音樂記譜系統至今已有近40年，期間對于復音音樂記譜的研究探索也取得了豐富的學術成果，積累了寶貴的經驗，然而當前該技術的準確率和實際應用需求還有相當大的差距，形成這種狀況的根本原因在于復音音樂所包括的音樂風格和演奏樂器類型過于繁多，種類繁多，其自動記譜需要很高的智能，只有受過多年訓練的音樂專家才能勝任；讓計算機也具有如此高的智能，當前的人工智能技術還相距甚遠.過去在這一領域的研究絕大部分是不針對任何特定應用的，不能充分利用與特定應用相關的其他信息。

鋼琴作為當今世界最流行的樂器，被稱為樂器之王，近年來我國越來越多的人特別是青少年開始接受專業或者業余的音樂教育，中國音樂家協會透露，目前全國有3000多萬人在學習鋼琴。鋼琴作為復音樂器的代表，所需要的音樂自動記譜技術難度最大，如果能有效的解決鋼琴音樂的自動記譜，其他樂器的自動記譜問題也能迎刃而解。現有的鋼琴自動音樂記譜技術僅僅依靠聽覺(聲音媒介)，自動音樂記譜的準確率低，難以被實際應用。

發明內容

本發明的目的在于，為克服現有技術的記錄鋼琴彈奏樂譜存在精度低等諸多缺陷，從而提供一種基于音視頻信息的自動音樂記譜方法及系統。

為實現上述目的，本發明提供了一種基于音視頻信息的自動音樂記譜方法，該方法采用多媒體技術自動完成鋼琴彈奏者的音樂記譜，所述方法包含如下步驟：

步驟101)錄制并采集鋼琴演奏的視頻和音頻數據，用于同步處理分析；

步驟102)依據采集的視頻信息采用視頻跟蹤算法獲取手部在鋼琴上的所有位置信息，根據所述手部位置信息確定演奏者所演奏的彈奏音符和各彈奏音符對應的彈奏時刻信息，即依據視頻采集信息獲得鋼琴彈奏的音符備選范圍序列集，簡稱“視頻音符備選范圍序列集”；

步驟103)對采集的音頻信息采用音頻自動音樂記譜算法獲取演奏者所演奏的彈奏音符的基頻信息，根據所述的基頻信息確定演奏者所演奏的彈奏音符和各彈奏音符對應的彈奏時刻信息，即依據音頻采集信息獲取鋼琴彈奏的音符備選范圍序列集，簡稱“音頻音符備選范圍序列集”；

步驟104)將步驟102)獲得的各個彈奏音符的所有手部位置信息和步驟103)獲得的各彈奏音符的基頻信息在時間上逐一進行對齊，并對對齊后的視頻音符備選范圍序列集和音頻音符備選范圍序列集取交集最終確定演奏者演奏的所有音符及這些音符的各個音符對應的彈奏時刻信息，完成對鋼琴演奏的自動音樂記譜；

其中，所述彈奏時刻信息包含：各個音符的開始彈奏時刻及持續時間。

所述步驟102)的視頻跟蹤算法采用背景差分法及膚色檢測算法來跟蹤手部在鋼琴上的位置。

可選的，所述步驟102)進一步包含如下子步驟：在演奏之前，手動完成鋼琴鍵盤的上下左右邊界的設定，同時保存空白鍵盤的幀作為背景幀；

待演奏開始后，將當前幀和背景幀都轉換成灰度圖像，并進行灰度圖像直方圖均衡化，做差分計算，得到差分動態部分的二值圖像；同時將背景幀和當前幀都轉換到HSV色彩空間及YCrCb色彩空間，分別在兩個色彩空間求背景幀與當前幀的差分，得到膚色部分的動態二值圖像；

對所得二值圖像進行中值濾波，膨脹腐蝕，最后兩兩求交集，進行輪廓檢測，圈定最大矩形輪廓，得到鋼琴鍵盤上手的活動范圍；

最后結合所圈定的鋼琴長寬及位置信息，等比例求得手部位置所對應的音符范圍。

可選的，所述步驟103)音頻自動音樂記譜算法進一步包含：

首先對演奏的鋼琴采集其單音音符多種不同響度的樣點，進行RTFI頻譜分析獲取各樣點的諧波頻譜結構特征及RTFI平均能量譜的平均能量譜并存儲；