[發(fā)明專利]一種樂(lè)器演奏或演唱測(cè)評(píng)方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110616599.1
• 申請(qǐng)日: 2021-06-02
• 公開(kāi)（公告）號(hào): CN113724741A
• 公開(kāi)（公告）日: 2021-11-30
• 發(fā)明（設(shè)計(jì)）人: 魏新元;段志堯;何欣燕;李博琛
• 申請(qǐng)（專利權(quán)）人: 深圳芒果未來(lái)教育科技有限公司
• 主分類號(hào): G10L25/90
• 分類號(hào): G10L25/90;G10H1/34;G10L25/18;G10L25/30;G10L25/45;G10L25/51
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

本發(fā)明公開(kāi)了一種樂(lè)器演奏或演唱測(cè)評(píng)方法及系統(tǒng)，方法包括：獲取演奏或演唱的音頻信號(hào)的特征并進(jìn)行音高估計(jì)；將音頻信號(hào)和樂(lè)譜參考信號(hào)實(shí)時(shí)對(duì)齊，并將實(shí)時(shí)對(duì)齊結(jié)果以以光標(biāo)方式實(shí)時(shí)指示在樂(lè)譜對(duì)應(yīng)音符位置上；判斷測(cè)評(píng)是否結(jié)束，若測(cè)評(píng)結(jié)束則獲取演奏或演唱音頻同時(shí)確定演奏或演唱在樂(lè)譜上的結(jié)尾點(diǎn)；根據(jù)演奏或演唱的結(jié)尾點(diǎn)，將已錄到的音頻與樂(lè)譜參考信號(hào)計(jì)算離線對(duì)齊路徑；統(tǒng)計(jì)演奏或演唱中的節(jié)奏錯(cuò)誤；比較演奏或演唱音頻中音符的音高與樂(lè)譜參考信號(hào)的音高是否一致，統(tǒng)計(jì)音符不一致的結(jié)果作為音準(zhǔn)錯(cuò)誤；根據(jù)節(jié)奏錯(cuò)誤和音準(zhǔn)錯(cuò)誤對(duì)演奏或演唱打分。本發(fā)明實(shí)現(xiàn)了演奏或演唱的自動(dòng)化測(cè)評(píng)打分，提高了測(cè)評(píng)的準(zhǔn)確度和效率。

技術(shù)領(lǐng)域

本發(fā)明涉及音頻信號(hào)處理技術(shù)領(lǐng)域，更具體地，涉及一種樂(lè)器演奏或演唱測(cè)評(píng)方法及系統(tǒng)。

背景技術(shù)

隨著近年來(lái)音樂(lè)教育的日益普及，越來(lái)越多的人參與到樂(lè)器演奏或者演唱的活動(dòng)中來(lái)。在樂(lè)器考級(jí)、比賽、音樂(lè)教育、唱歌娛樂(lè)等很多場(chǎng)景中人們十分需要對(duì)自己/他人的表演或者日常練習(xí)進(jìn)行評(píng)測(cè)，包含演奏中是否出現(xiàn)錯(cuò)音、節(jié)奏是否穩(wěn)定、音高是否準(zhǔn)確，演奏力度是否符合樂(lè)譜要求等一系列指標(biāo)來(lái)對(duì)演奏進(jìn)行評(píng)價(jià)。這些評(píng)測(cè)工作通常由音樂(lè)教師、專家評(píng)委或者陪練老師來(lái)完成，存在以下弊端：1.音樂(lè)培訓(xùn)費(fèi)用不菲；2.絕大多數(shù)情況下僅憑人耳和記憶力是無(wú)法準(zhǔn)確發(fā)現(xiàn)或記錄演奏中所有出現(xiàn)過(guò)的錯(cuò)音、節(jié)奏不準(zhǔn)、音準(zhǔn)偏差，力度等問(wèn)題；3.評(píng)價(jià)較為主觀，沒(méi)有經(jīng)過(guò)科學(xué)的數(shù)據(jù)量化，有時(shí)難以服眾。

現(xiàn)有技術(shù)中，公開(kāi)號(hào)為CN201710912292.X中國(guó)發(fā)明專利公開(kāi)了一種智能鋼琴演奏測(cè)評(píng)方法，包括：采集用戶的MIDI音頻數(shù)字信號(hào)轉(zhuǎn)換成演奏數(shù)據(jù)；將用戶演奏時(shí)間序列和大師演奏時(shí)間序列在時(shí)間軸上匹配；將用戶演奏的音符組和大師演奏的音符組進(jìn)行音準(zhǔn)判定；將用戶演奏的音符相對(duì)時(shí)值與大師演奏的音符相對(duì)時(shí)值進(jìn)行節(jié)奏判定；計(jì)算用戶演奏速度和大師演奏速度的相對(duì)速度進(jìn)行速度判定；將用戶演奏的音符力度與大師演奏的音符力度進(jìn)行力度判定；將演奏音準(zhǔn)、演奏節(jié)奏、演奏速度和演奏力度進(jìn)行綜合評(píng)估；將綜合評(píng)估的結(jié)果在智能終端的五線譜上進(jìn)行標(biāo)識(shí)。該方案是針對(duì)電鋼琴場(chǎng)景采用藍(lán)牙或者接線的方式采集的是電鋼琴的MIDI信號(hào)，無(wú)法使用于更多的傳統(tǒng)主流樂(lè)器，同時(shí)沒(méi)有實(shí)現(xiàn)樂(lè)譜跟隨(對(duì)齊)和實(shí)時(shí)音高估計(jì)。

發(fā)明內(nèi)容

本發(fā)明為克服上述現(xiàn)有技術(shù)中樂(lè)器演奏或個(gè)人演唱測(cè)評(píng)依靠人工效率低、測(cè)評(píng)結(jié)果不客觀、不準(zhǔn)確的缺陷，提供一種樂(lè)器演奏或演唱測(cè)評(píng)方法及系統(tǒng)。

本發(fā)明的首要目的是為解決上述技術(shù)問(wèn)題，本發(fā)明的技術(shù)方案如下：

本發(fā)明第一方面提供了一種樂(lè)器演奏或演唱測(cè)評(píng)方法，包括以下步驟：

獲取演奏/演唱的音頻信號(hào)的特征并進(jìn)行音高估計(jì)；

檢測(cè)演奏或演唱音頻信號(hào)的起始點(diǎn)，從起始點(diǎn)開(kāi)始將獲取的音頻信號(hào)和樂(lè)譜參考信號(hào)進(jìn)行實(shí)時(shí)對(duì)齊，并將實(shí)時(shí)對(duì)齊結(jié)果以光標(biāo)的方式實(shí)時(shí)指示在樂(lè)譜對(duì)應(yīng)音符位置上；

判斷測(cè)評(píng)是否結(jié)束，若測(cè)評(píng)結(jié)束，則獲取演奏或演唱音頻同時(shí)確定演奏或演唱在樂(lè)譜上的結(jié)尾點(diǎn)；

根據(jù)演奏或演唱在樂(lè)譜上的結(jié)尾點(diǎn)，將已錄到的演奏或演唱音頻與樂(lè)譜參考信號(hào)計(jì)算離線對(duì)齊路徑；

根據(jù)離線對(duì)齊路徑統(tǒng)計(jì)演奏或演唱中的節(jié)奏錯(cuò)誤；

根據(jù)離線對(duì)齊路徑比較演奏或演唱音頻中音符的音高與樂(lè)譜參考信號(hào)的音高是否一致，統(tǒng)計(jì)音符不一致的結(jié)果作為音準(zhǔn)錯(cuò)誤；

根據(jù)節(jié)奏錯(cuò)誤和音準(zhǔn)錯(cuò)誤進(jìn)行演奏或演唱打分。

進(jìn)一步的，所述音頻信號(hào)的特征為頻域特征或通過(guò)神經(jīng)網(wǎng)絡(luò)將音頻信號(hào)變換到未知的域上提取的特征。

進(jìn)一步的，通過(guò)對(duì)齊算法將音頻信號(hào)和樂(lè)譜參考信號(hào)進(jìn)行實(shí)時(shí)對(duì)齊，所述對(duì)齊算法為基于貝葉斯概率模型的濾波方法，具體為：卡爾曼濾波、擴(kuò)展卡爾曼濾波、無(wú)跡卡爾曼濾波、粒子濾波、動(dòng)態(tài)時(shí)間規(guī)整算法。