[發(fā)明專利]一種基于音頻識別被彈奏琴鍵的方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202110982027.5
• 申請日: 2021-08-25
• 公開（公告）號: CN113658612A
• 公開（公告）日: 2021-11-16
• 發(fā)明（設(shè)計）人: 陶之雨;鄭慶偉
• 申請（專利權(quán)）人: 桂林智神信息技術(shù)股份有限公司
• 主分類號: G10L25/51
• 分類號: G10L25/51;G10L25/18;G10L21/028;G10L21/0232
• 代理公司: 北京泛華偉業(yè)知識產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

本發(fā)明提供一種基于音頻識別被彈奏琴鍵的方法，所述方法包括獲取彈奏鋼琴的音頻并對所述音頻進(jìn)行分幀處理以得到多個分幀信號，以及對每一個分幀信號執(zhí)行如下步驟:T1、對當(dāng)前分幀信號進(jìn)行頻域分析，獲得該分幀信號的頻譜；T2、對步驟T1獲得的頻譜進(jìn)行噪聲水平估計以獲得多個樂音譜峰形成樂音譜峰集合；T3、根據(jù)噪聲水平估計獲得的樂音譜峰集合、所有琴鍵頻譜參數(shù)集構(gòu)成的諧波頻率查找可能被彈奏的第一候選琴鍵集合，其中第一候選琴鍵集合是諧波頻率與所述樂音譜峰集合中的一個或多個樂音譜峰相同的琴鍵的集合。

技術(shù)領(lǐng)域

本發(fā)明涉及智能鋼琴領(lǐng)域，具體來說，涉及鋼琴調(diào)音以及彈奏評價領(lǐng)域，更具體地說，涉及一種基于音頻識別被彈奏琴鍵的方法及系統(tǒng)。

背景技術(shù)

目前對鋼琴調(diào)音的好壞評價以及鋼琴彈奏的評價大多基于個人經(jīng)驗進(jìn)行，例如，有調(diào)音師對鋼琴完成調(diào)較后，用戶通過彈奏每一個琴鍵，并根據(jù)個人經(jīng)驗來判斷調(diào)音效果，由于個人經(jīng)驗參差不齊，對調(diào)音效果的判斷也參差不齊。在鋼琴教學(xué)以及鋼琴學(xué)習(xí)過程中經(jīng)常要對彈奏者的鋼琴彈奏進(jìn)行評價，現(xiàn)有技術(shù)下在鋼琴教學(xué)或者演奏中對鋼琴彈奏的評價，大多基于人工聽，通過聽彈奏者彈奏的音符來判斷彈奏的好壞，無法準(zhǔn)確定位好壞的等級和具體指標(biāo)，在這個過程中，如果經(jīng)驗不足或者調(diào)音效果不好，會直接影響彈奏音符的判斷。

具體來說，當(dāng)鋼琴的按鍵被彈奏時，琴錘撞擊相應(yīng)的一根或多根琴弦，此時琴弦震動可以簡單的建模為剛性材料的受迫振動，此敲擊可以激發(fā)出弦的不同頻率的波，該頻率具有明顯的比例關(guān)系，例如彈奏標(biāo)準(zhǔn)鋼琴的A4按鍵，會激發(fā)出諸如440Hz、880Hz、1320Hz、1760Hz……的波。該震動頻率的最小值定義為該琴鍵的基頻。比基頻高整數(shù)倍的震動稱為該基頻的泛音或諧波，多個諧波組成諧波列或稱為泛音列，這樣就形成了明顯的諧波結(jié)構(gòu)。鋼琴的每個琴鍵都有屬于自己的基頻和諧波結(jié)構(gòu)。但是能產(chǎn)生整數(shù)倍諧波的前提是琴弦被建模為簡單的剛性震動，而實(shí)際上琴弦是由兩端被固定在琴腔共振板上粗細(xì)不同的金屬組成。因為兩端的固定，實(shí)際振動的弦長被縮短，導(dǎo)致諧波頻率和基頻的頻率不滿足嚴(yán)格整數(shù)倍關(guān)系，使得不同琴鍵的諧波會有重疊，且由于鋼琴調(diào)音沒有嚴(yán)格的定性和定量基準(zhǔn)，導(dǎo)致對彈奏進(jìn)行評價時基于音符對被彈奏琴鍵的估計會不準(zhǔn)確。這會使得音符識別過程中八度錯誤較多，例如，需要彈奏A4琴鍵，但是同時彈奏A3和A5琴鍵，由于諧波的重疊，被判斷為僅彈奏了A4按鍵。

此外，現(xiàn)有技術(shù)下，對彈奏音符的識別過程中缺乏對噪聲的處理，使得噪聲影響大，音符識別準(zhǔn)確度不高。現(xiàn)有技術(shù)下也沒有對每架鋼琴建模，也沒有對模型進(jìn)行實(shí)時校準(zhǔn)，使得鋼琴的頻譜參數(shù)不夠精準(zhǔn)。

此外，依靠人工進(jìn)行調(diào)音評價以及彈奏評價費(fèi)時費(fèi)力，無法智能的獲取鋼琴調(diào)音情況，會因操作者的不同會出現(xiàn)很大的偏差，此外，現(xiàn)有技術(shù)下也沒有能夠準(zhǔn)確識別彈奏曲目節(jié)拍的方法，尤其是彈奏曲庫中沒有的曲目時，無法獲得準(zhǔn)確的節(jié)拍，不利于智能鋼琴教學(xué)的應(yīng)用。

發(fā)明內(nèi)容

因此，本發(fā)明的目的在于克服上述現(xiàn)有技術(shù)的缺陷，提供一種能夠根據(jù)彈奏的音頻智能識別彈奏琴鍵的方法及系統(tǒng)，以及計算彈奏節(jié)拍和評價彈奏的方法。

根據(jù)本發(fā)明的第一方面，提供一種基于音頻識別被彈奏琴鍵的方法，所述方法包括獲取彈奏鋼琴的音頻并對所述音頻進(jìn)行分幀處理以得到多個分幀信號，以及對每一個分幀信號執(zhí)行如下步驟:T1、對當(dāng)前分幀信號進(jìn)行頻域分析，獲得該分幀信號的頻譜；T2、對步驟T1獲得的頻譜進(jìn)行噪聲水平估計以獲得多個樂音譜峰形成樂音譜峰集合；T3、根據(jù)噪聲水平估計獲得的樂音譜峰集合、所有琴鍵頻譜參數(shù)集構(gòu)成的諧波頻率查找可能被彈奏的第一候選琴鍵集合，其中第一候選琴鍵集合是諧波頻率與所述樂音譜峰集合中的一個或多個樂音譜峰相同的琴鍵的集合。