[發(fā)明專利]一種基于音頻識(shí)別被彈奏琴鍵的方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110982027.5
• 申請(qǐng)日: 2021-08-25
• 公開(kāi)（公告）號(hào): CN113658612A
• 公開(kāi)（公告）日: 2021-11-16
• 發(fā)明（設(shè)計(jì)）人: 陶之雨;鄭慶偉
• 申請(qǐng)（專利權(quán)）人: 桂林智神信息技術(shù)股份有限公司
• 主分類號(hào): G10L25/51
• 分類號(hào): G10L25/51;G10L25/18;G10L21/028;G10L21/0232
• 代理公司: 北京泛華偉業(yè)知識(shí)產(chǎn)權(quán)代理有限公司 11280
• 代理人: 王勇

1.一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，包括：

獲取彈奏鋼琴的音頻并對(duì)所述音頻進(jìn)行分幀處理以得到多個(gè)分幀信號(hào)，以及

對(duì)每一個(gè)分幀信號(hào)執(zhí)行如下步驟:

T1、對(duì)當(dāng)前分幀信號(hào)進(jìn)行頻域分析，獲得該分幀信號(hào)的頻譜；

T2、對(duì)步驟T1獲得的頻譜進(jìn)行噪聲水平估計(jì)以獲得多個(gè)樂(lè)音譜峰形成樂(lè)音譜峰集合；

T3、根據(jù)噪聲水平估計(jì)獲得的樂(lè)音譜峰集合、所有琴鍵頻譜參數(shù)集構(gòu)成的諧波頻率查找可能被彈奏的第一候選琴鍵集合，其中第一候選琴鍵集合是諧波頻率與所述樂(lè)音譜峰集合中的一個(gè)或多個(gè)樂(lè)音譜峰相同的琴鍵的集合。

2.根據(jù)權(quán)利要求1所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，所述方法還包括對(duì)每一個(gè)分幀信號(hào)執(zhí)行如下步驟：

T4、取該分幀信號(hào)對(duì)應(yīng)時(shí)間段采用攝像頭捕獲的手和琴鍵圖像獲取手的位置下方的琴鍵集合與第一候選琴鍵集合的交集，得到第二候選琴鍵集合；

T5、基于第二候選琴鍵集合中每個(gè)琴鍵的諧波列，以第二候選琴鍵集合中諧波與所述樂(lè)音譜峰集合中的一個(gè)或多個(gè)樂(lè)音譜峰相同的琴鍵構(gòu)成第三候選琴鍵集合；

T6、對(duì)第三候選琴鍵集合進(jìn)行篩選，留下高八度按鍵或者低八度按鍵被彈奏的琴鍵以形成第四候選琴鍵集合。

3.根據(jù)權(quán)利要求2所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，所述方法還包括對(duì)每一個(gè)分幀信號(hào)執(zhí)行如下步驟：

T7、將第四候選琴鍵集合作為單個(gè)分幀信號(hào)的多基頻估計(jì)結(jié)果，采用HMM和維特比方法對(duì)其進(jìn)行音符事件的幀間平滑，獲得該分幀信號(hào)對(duì)應(yīng)的被彈奏琴鍵的綜合估計(jì)結(jié)果。

4.根據(jù)權(quán)利要求1所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，所述方法還包括：對(duì)獲取的音頻依次進(jìn)行降噪、語(yǔ)音分離處理后進(jìn)行分幀處理。

5.根據(jù)權(quán)利要求4所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，

采用多麥克風(fēng)降噪技術(shù)或多麥克風(fēng)陣列波束形成技術(shù)對(duì)音頻進(jìn)行降噪處理以消除音頻中的環(huán)境噪聲。

6.根據(jù)權(quán)利要求4所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，

采用多麥克風(fēng)降噪技術(shù)或多麥克風(fēng)陣列波束形成技術(shù)對(duì)音頻進(jìn)行語(yǔ)音分離以分離音頻中的人物語(yǔ)音。

7.根據(jù)權(quán)利要求5或6所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，多麥克風(fēng)降噪技術(shù)通過(guò)如下步驟實(shí)現(xiàn)：

將多個(gè)麥克風(fēng)分別指向需要拾音的方向，包括鋼琴共振腔和環(huán)境噪聲方向；

采用譜減法將采集到的樂(lè)音含量高的聲音頻譜減去環(huán)境噪聲含量高的聲音頻譜以消除環(huán)境噪聲。

8.根據(jù)權(quán)利要求5或6所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，采用多麥克風(fēng)陣列波束形成技術(shù)時(shí)通過(guò)如下方式布置采集音頻的麥克風(fēng):

以鋼琴鍵盤的俯視圖所在的長(zhǎng)方形平面的中心點(diǎn)以及長(zhǎng)方形外的兩個(gè)最遠(yuǎn)聲源點(diǎn)為三角形頂點(diǎn)，將多個(gè)麥克風(fēng)布置在以平行于兩個(gè)最遠(yuǎn)聲源點(diǎn)連線且穿過(guò)三角形中心的直線為切線、以三角形中心為切點(diǎn)、包圍長(zhǎng)方形平面中心點(diǎn)或兩個(gè)最遠(yuǎn)聲源點(diǎn)的弧線上。

9.根據(jù)權(quán)利要求1所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，所述方法還包括：

采用離線校準(zhǔn)或在線校準(zhǔn)的方法獲取或更新琴鍵頻譜參數(shù)集，所述琴鍵頻譜參數(shù)集中包含每一個(gè)琴鍵對(duì)應(yīng)的頻譜參數(shù)。

10.根據(jù)權(quán)利要求8所述的一種基于音頻識(shí)別被彈奏琴鍵的方法，其特征在于，每一個(gè)琴鍵頻譜參數(shù)用于表示該琴鍵的諧波結(jié)構(gòu)：

f_k＝k*(A*F0)*sqrt(1+B*k^2)

其中,A、B是琴鍵頻譜參數(shù)，f_k是該琴鍵的k次諧波，F(xiàn)0是該琴鍵的基頻。