[發(fā)明專利]樂器合奏方法及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110754508.0
• 申請(qǐng)日: 2021-07-05
• 公開（公告）號(hào): CN113488005A
• 公開（公告）日: 2021-10-08
• 發(fā)明（設(shè)計(jì)）人: 王子亮;陳勇;蘇財(cái)?shù)?/a>;鄒應(yīng)雙
• 申請(qǐng)（專利權(quán)）人: 福建星網(wǎng)視易信息系統(tǒng)有限公司
• 主分類號(hào): G10H1/00
• 分類號(hào): G10H1/00;G06N3/04
• 代理公司: 福州市博深專利事務(wù)所(普通合伙) 35214
• 代理人: 唐燕玲

1.一種樂器合奏方法，其特征在于，包括：

獲取第一混合音頻，所述第一混合音頻由伴奏音頻和至少一路的純樂器音頻混音而成；

對(duì)所述第一混合音頻中的各路音頻進(jìn)行分離，得到伴奏音頻和各路純樂器音頻；

確定待演奏樂器以及待合奏的伴奏音頻和/或至少一路的純樂器音頻；

對(duì)所述待合奏的伴奏音頻和/或至少一路的純樂器音頻進(jìn)行混音，得到第二混合音頻；

播放所述第二混合音頻，所述第二混合音頻用于作為待演奏者演奏所述待演奏樂器時(shí)的伴奏音頻。

2.根據(jù)權(quán)利要求1所述的樂器合奏方法，其特征在于，所述對(duì)所述第一混合音頻中的各路音頻進(jìn)行分離，得到伴奏音頻和各路純樂器音頻具體為：

訓(xùn)練得到第一神經(jīng)網(wǎng)絡(luò)模型和至少一個(gè)的第二神經(jīng)網(wǎng)絡(luò)模型，所述第一神經(jīng)網(wǎng)絡(luò)模型與所述伴奏音頻對(duì)應(yīng)，各第二神經(jīng)網(wǎng)絡(luò)模型分別與所述各路純樂器音頻一一對(duì)應(yīng)；

根據(jù)所述第一混合音頻的頻譜，計(jì)算所述第一混合音頻的幅度譜，并將所述第一混合音頻的幅度譜分別輸入所述第一神經(jīng)網(wǎng)絡(luò)模型和各第二神經(jīng)網(wǎng)絡(luò)模型，得到所述第一混合音頻中的伴奏音頻的預(yù)測(cè)幅度譜和各路純樂器音頻的預(yù)測(cè)幅度譜；

根據(jù)所述伴奏音頻的預(yù)測(cè)幅度譜和各路純樂器音頻的預(yù)測(cè)幅度譜以及所述第一混合音頻的頻譜，分別計(jì)算得到所述伴奏音頻的預(yù)測(cè)頻譜和各路純樂器音頻的預(yù)測(cè)頻譜；

分別對(duì)所述伴奏音頻和各路純樂器音頻的預(yù)測(cè)頻譜進(jìn)行短時(shí)傅里葉逆變換，得到伴奏音頻和各路純樂器音頻。

3.根據(jù)權(quán)利要求2所述的樂器合奏方法，其特征在于，所述根據(jù)所述伴奏音頻的預(yù)測(cè)幅度譜和各路純樂器音頻的預(yù)測(cè)幅度譜以及所述第一混合音頻的頻譜，分別計(jì)算得到所述伴奏音頻的預(yù)測(cè)頻譜和各路純樂器音頻的預(yù)測(cè)頻譜具體為：

分別將所述伴奏音頻的預(yù)測(cè)幅度譜和各路純樂器音頻的預(yù)測(cè)幅度譜進(jìn)行平方運(yùn)算，得到伴奏能量和各純樂器能量；

根據(jù)第一公式，分別計(jì)算各純樂器在所述第一混合音頻的每個(gè)頻帶上的占比，得到各純樂器對(duì)應(yīng)的占比，所述第一公式為v_mask_i為第i路純樂器對(duì)應(yīng)的占比，v_i為第i路純樂器能量，a為伴奏能量；

根據(jù)第二公式，計(jì)算伴奏在所述第一混合音頻的每個(gè)頻帶上的占比，得到伴奏對(duì)應(yīng)的占比，所述第二公式為a_mask_i為伴奏對(duì)應(yīng)的占比；

將所述第一混合音頻的頻譜分別乘以所述各純樂器對(duì)應(yīng)的占比和伴奏對(duì)應(yīng)的占比，得到各純樂器音頻的預(yù)測(cè)頻譜和伴奏音頻的預(yù)測(cè)頻譜。

4.根據(jù)權(quán)利要求2所述的樂器合奏方法，其特征在于，所述訓(xùn)練得到第一神經(jīng)網(wǎng)絡(luò)模型和至少一個(gè)的第二神經(jīng)網(wǎng)絡(luò)模型具體為：

構(gòu)建初始的第一神經(jīng)網(wǎng)絡(luò)模型和至少一個(gè)的第二神經(jīng)網(wǎng)絡(luò)模型；

獲取樣本混合音頻，并根據(jù)所述樣本混合音頻的頻譜，計(jì)算所述樣本混合音頻的幅度譜，所述樣本混合音頻由一路伴奏樣本音頻和多路純樂器樣本音頻混音而成，所述多路純樂器樣本音頻對(duì)應(yīng)的樂器種類至少包括所述第一混合音頻中的各路純樂器音頻對(duì)應(yīng)的樂器種類；

分別獲取所述伴奏樣本音頻和各路純樂器樣本音頻的頻譜，并分別根據(jù)所述伴奏樣本音頻和各路純樂器樣本音頻的頻譜，計(jì)算伴奏樣本音頻和各路純樂器樣本音頻的第一幅度譜；

將所述樣本混合音頻的幅度譜分別輸入所述第一神經(jīng)網(wǎng)絡(luò)模型和各第二神經(jīng)網(wǎng)絡(luò)模型，得到第一神經(jīng)網(wǎng)絡(luò)模型和各第二神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)值，所述第一神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)值為所述伴奏樣本音頻的第二幅度譜，所述各第二神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)值分別為其對(duì)應(yīng)的純樂器樣本音頻的第二幅度譜；

將所述伴奏樣本音頻的第一幅度譜作為所述第一神經(jīng)網(wǎng)絡(luò)模型的標(biāo)準(zhǔn)值，將各路純樂器樣本音頻的第一幅度譜分別作為其對(duì)應(yīng)的第二神經(jīng)網(wǎng)絡(luò)模型的標(biāo)準(zhǔn)值，根據(jù)所述第一神經(jīng)網(wǎng)絡(luò)模型和各第二神經(jīng)網(wǎng)絡(luò)模型的預(yù)測(cè)值和標(biāo)準(zhǔn)值，計(jì)算損失函數(shù)；

根據(jù)所述損失函數(shù)，通過梯度下降法更新所述第一神經(jīng)網(wǎng)絡(luò)模型和各第二神經(jīng)網(wǎng)絡(luò)模型中的參數(shù)；

當(dāng)所述損失函數(shù)小于預(yù)設(shè)的閾值，得到訓(xùn)練后的第一神經(jīng)網(wǎng)絡(luò)模型和各第二神經(jīng)網(wǎng)絡(luò)模型。