[發(fā)明專利]樂器合成聲音的生成系統(tǒng)和生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201980052866.8
• 申請(qǐng)日: 2019-07-18
• 公開（公告）號(hào): CN112543971B
• 公開（公告）日: 2023-10-20
• 發(fā)明（設(shè)計(jì)）人: S·斯奎爾蒂尼;S·托馬賽迪;L·加布里里
• 申請(qǐng)（專利權(quán)）人: 威斯康國(guó)際股份有限公司;馬爾凱理工大學(xué)
• 主分類號(hào): G10H7/00
• 分類號(hào): G10H7/00;G10H7/12;G10H5/00
• 代理公司: 北京三幸商標(biāo)專利事務(wù)所(普通合伙) 11216
• 代理人: 劉卓然

1.一種樂器中的合成聲音的生成系統(tǒng)(100)；所述系統(tǒng)(100)包括第一階段(1)、第二階段(2)和第三階段(3)，

該第一階段(1)包括：

-特征提取機(jī)構(gòu)(10)，其被配置為從輸入的原始聲音(S_IN)中提取特征(F)；

-多個(gè)神經(jīng)網(wǎng)絡(luò)(11)，其中，每個(gè)神經(jīng)網(wǎng)絡(luò)都配置為評(píng)估所述特征(F)的參數(shù)并發(fā)出輸出的評(píng)估參數(shù)(P*₁、....P*_M)，

該第二階段(2)包括：

-多個(gè)物理模型創(chuàng)建機(jī)構(gòu)(20)，其中每個(gè)物理模型創(chuàng)建機(jī)構(gòu)(20)接收所述評(píng)估參數(shù)(P*₁、....P*_M)作為輸入，從而獲得多個(gè)物理模型(M₁、...M_M)，該多個(gè)物理模型(M₁、...M_M)配置為生成聲音(S₁、...S_M)作為輸出，

-多個(gè)指標(biāo)評(píng)估機(jī)構(gòu)(21)，其中每個(gè)指標(biāo)評(píng)估機(jī)構(gòu)(21)接收該物理模型的聲音作為輸入，并將其與目標(biāo)聲音(S_T)進(jìn)行比較，從而生成該物理模型的聲音與目標(biāo)聲音之間的距離(d₁、.....d_M)作為輸出，

-選擇機(jī)構(gòu)(22)，其接收由所述指標(biāo)評(píng)估機(jī)構(gòu)(21)計(jì)算出的距離(d₁、.....d_M)作為輸入，并選擇物理模型的參數(shù)(P*_i)，該物理模型的聲音具有最低的距該目標(biāo)聲音的距離，

該第三階段(3)包括：

-存儲(chǔ)器(30)，其中存儲(chǔ)在第二階段中選擇的該參數(shù)(P*_i)，

-物理模型創(chuàng)建機(jī)構(gòu)(31)，其從該存儲(chǔ)器(30)接收該參數(shù)(P*_i)，并創(chuàng)建發(fā)出聲音(S_i)的物理模型(M_i)，

-指標(biāo)評(píng)估機(jī)構(gòu)(32)，其接收該第三階段的物理模型的聲音并將其與目標(biāo)聲音(S_T)進(jìn)行比較，從而計(jì)算出該第三階段的物理模型的聲音與該目標(biāo)聲音之間的距離(d_i)，

-微調(diào)機(jī)構(gòu)(34)，其修改存儲(chǔ)在所述存儲(chǔ)器(30)中的參數(shù)，從而獲得微調(diào)參數(shù)(P'_i)，該微調(diào)參數(shù)(P'_i)被發(fā)送到所述物理模型創(chuàng)建機(jī)構(gòu)(31)以創(chuàng)建具有微調(diào)參數(shù)的物理模型，

-選擇機(jī)構(gòu)(33)，其接收由該第三階段的所述指標(biāo)評(píng)估機(jī)構(gòu)(32)計(jì)算出的距離作為輸入，并選擇具有最小距離的物理模型的最終參數(shù)(P_i)，

所述系統(tǒng)(100)還包括聲音生成器(106)，其接收所述最終參數(shù)(P_i)并生成合成聲音(S_OUT)作為輸出。

2.樂器中合成聲音的生成方法，包括以下步驟：

-從輸入的原始聲音(S_IN)中提取特征(F)；

-通過多個(gè)神經(jīng)網(wǎng)絡(luò)(11)對(duì)所述特征(F)的參數(shù)進(jìn)行評(píng)估，從而生成評(píng)估參數(shù)(P*₁、....P*_M)作為輸出，

-創(chuàng)建具有所述評(píng)估參數(shù)(P*₁、....P*_M)的多個(gè)物理模型(M₁、...M_M)，其中每個(gè)物理模型都發(fā)出聲音(S₁、...S_M)作為輸出，

-對(duì)由每個(gè)物理模式發(fā)出的每種聲音(S₁、...S_M)進(jìn)行指標(biāo)評(píng)估(21)，并與目標(biāo)聲音(S_T)進(jìn)行比較，從而獲得該物理模型的聲音與目標(biāo)聲音之間的距離(d₁、.....d_M)，

-計(jì)算最小距離(d_i)，并且選擇物理模型的參數(shù)(P*_i)，該物理模型的聲音與該目標(biāo)聲音的距離最小，

-存儲(chǔ)所選參數(shù)(P*_i)，

-利用該存儲(chǔ)的參數(shù)(P*_i)創(chuàng)建物理模型(M_i)，其中所述物理模型(M_i)發(fā)出聲音(S_i)，

-對(duì)與該目標(biāo)聲音(S_T)比較的該物理模型的聲音(S_i)進(jìn)行指標(biāo)評(píng)估，從而計(jì)算該物理模型的聲音與該目標(biāo)聲音之間的距離(d_i)，

-對(duì)存儲(chǔ)在所述存儲(chǔ)器(30)中的該參數(shù)進(jìn)行微調(diào)，從而獲取微調(diào)參數(shù)(P'_i)，并用該微調(diào)參數(shù)創(chuàng)建物理模型，

-對(duì)具有微調(diào)參數(shù)的物理模型的聲音進(jìn)行指標(biāo)評(píng)估，從而計(jì)算具有微調(diào)參數(shù)的物理模型的聲音與該目標(biāo)聲音之間的距離，

-計(jì)算該最小距離，并選擇具有該最小距離的物理模型的最終參數(shù)(P_i)，

-通過接收所述最終參數(shù)(P_i)的聲音生成器(106)來生成合成聲音(S_OUT)作為輸出。