[發明專利]一種樂器演奏或演唱測評方法及系統

在審

• 申請號: 202110616599.1
• 申請日: 2021-06-02
• 公開（公告）號: CN113724741A
• 公開（公告）日: 2021-11-30
• 發明（設計）人: 魏新元;段志堯;何欣燕;李博琛
• 申請（專利權）人: 深圳芒果未來教育科技有限公司
• 主分類號: G10L25/90
• 分類號: G10L25/90;G10H1/34;G10L25/18;G10L25/30;G10L25/45;G10L25/51
• 代理公司: 廣州粵高專利商標代理有限公司 44102
• 代理人: 林麗明

1.一種樂器演奏或演唱測評方法，其特征在于，包括以下步驟：

獲取演奏或演唱的音頻信號的特征并進行音高估計；

檢測演奏或演唱音頻信號的起始點，從起始點開始將獲取的音頻信號和樂譜參考信號進行實時對齊，并將實時對齊結果以光標方式實時指示在樂譜對應音符位置上；

判斷測評是否結束，若測評結束，則獲取演奏或演唱音頻同時確定演奏或演唱在樂譜上的結尾點；

根據演奏或演唱在樂譜上的結尾點，將已錄到的演奏或演唱音頻與樂譜參考信號計算離線對齊路徑；

根據離線對齊路徑統計演奏或演唱中的節奏錯誤；

根據離線對齊路徑比較演奏或演唱音頻中音符的音高與樂譜參考信號的音高是否一致，統計音符不一致的結果作為音準錯誤；

根據節奏錯誤和音準錯誤進行演奏或演唱打分。

2.根據權利要求1所述的一種樂器演奏或演唱測評方法，其特征在于，所述音頻信號的特征為頻域特征或通過神經網絡將音頻信號變換到未知的域上提取的特征。

3.根據權利要求1所述的一種樂器演奏或演唱測評方法，其特征在于，通過對齊算法將音頻信號和樂譜參考信號進行實時對齊，所述對齊算法為基于貝葉斯概率模型的濾波方法，具體為：卡爾曼濾波、擴展卡爾曼濾波、無跡卡爾曼濾波、粒子濾波、動態時間規整算法。

4.根據權利要求1所述的一種樂器演奏或演唱測評方法，其特征在于，所述基于貝葉斯概率模型的濾波方法包括有貝葉斯概率模型，所述貝葉斯概率模型包括狀態方程和觀測方程，所述狀態方程為：

z(t)＝f(z(t-1)，w(t))

所述觀測方程為：

x(t)＝h(z(t)，v(t))

其中，x為觀測數據，z對應系統的狀態空間，包含當前時刻所在樂譜的位置、演奏速度；f表示系統的狀態轉移函數，w(t)表示系統的過程噪聲；h表示觀測方程，v(t)表示觀測方法的測量噪聲。

5.根據權利要求4所述的一種樂器演奏或演唱測評方法，其特征在于，貝葉斯概率模型的求解即利用1到t時刻所有的觀測值求t時刻系統對應的狀態值，即求后驗概率p(z_t|x_1：t)；

具體求解過程為：

假設狀態之間的關系服從觀測獨立假設和高階馬爾科夫假設，所述觀測獨立假設表示系統當前時刻的觀測值只與系統當前時刻的系統狀態有關，與其他狀態和觀測數據無關，通常稱之為發射概率，即p(x_t|z_1：t，x_1：t-1)＝p(x_t|z_t)；

所述高階馬爾科夫假設是指系統當前的狀態只與系統當前時刻之前的N個狀態有關，與其他值無關；

根據觀測獨立假設和高階馬爾科夫假設每次新進來一個新的數據就可以利用上一時刻的計算結果進行遞推計算，而不需要每次都重新計算整個聯合分布的概率，從而達到實時場景的計算要求；

基于貝葉斯概率模型的濾波過程具體為：

系統初始化：p(x₀)

預測步：p(z_t-1|x_1：t-1)→p(z_t|x_1：t-1)

p(z_t|x_1：t-1)＝∫p(z_t|x_t-1)p(z_t-1|x_1：t-1)dx_t-1

更新步：p(z_t|x_1：t-1)→p(z_t|x_1：t)

其中：K_k＝∫p(z_t|x_t)p(z_t|x_1：t-1)dx_t

其中，p(x₀)表示初始系統狀態，x₀為初始參數，預測步是利用當前系統狀態值，通過狀態方程對下一時刻的系統狀態進行預測，使用的是t-1時刻的更新值p(z_t-1|x_1：t-1)和狀態轉移概率p(z_t|x_t-1)；更新步驟是當獲取下一時刻的觀測數據后對預測步中預測的系統狀態進行校正，使用的是預測步的預測值p(z_t|x_1：t-1)和發射概率p(z_t|x_t)；

通過預測和更新的循環步驟，直到沒有了新的觀測數據后結束，其中每一步計算過程僅依賴于上一步的結果和系統狀態方程和觀測方程，從而實現了實時濾波的過程。