[發(fā)明專利]訓(xùn)練聲學(xué)轉(zhuǎn)換模型的方法、終端及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110321807.5
• 申請(qǐng)日: 2021-03-25
• 公開（公告）號(hào): CN112992107A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 莊曉濱;姜濤;胡鵬;吳斌;黃昕;周思瑜
• 申請(qǐng)（專利權(quán)）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號(hào): G10H1/00
• 分類號(hào): G10H1/00;G10H1/02
• 代理公司: 北京三高永信知識(shí)產(chǎn)權(quán)代理有限責(zé)任公司 11138
• 代理人: 祝亞男

1.一種訓(xùn)練聲學(xué)轉(zhuǎn)換模型的方法，其特征在于，所述方法包括：

獲取目標(biāo)對(duì)象的樣本歌曲音頻中每個(gè)音頻幀對(duì)應(yīng)的音素信息和音高信息，并獲取所述每個(gè)音頻幀對(duì)應(yīng)的基準(zhǔn)頻譜特征信息；

將每個(gè)音頻幀對(duì)應(yīng)的音素信息和音高信息輸入聲學(xué)轉(zhuǎn)換模型，得到每個(gè)音頻幀對(duì)應(yīng)的預(yù)測(cè)頻譜特征信息；

根據(jù)每個(gè)音頻幀對(duì)應(yīng)的預(yù)測(cè)頻譜特征信息和基準(zhǔn)頻譜特征信息，確定每個(gè)音頻幀對(duì)應(yīng)的初始損失值；

確定每個(gè)初始損失值對(duì)應(yīng)的權(quán)重值，其中，所述權(quán)重值與對(duì)應(yīng)的初始損失值負(fù)相關(guān)；

根據(jù)每個(gè)音頻幀對(duì)應(yīng)的初始損失值和權(quán)重值，計(jì)算綜合損失值；

根據(jù)所述綜合損失值，對(duì)所述聲學(xué)轉(zhuǎn)換模型進(jìn)行訓(xùn)練調(diào)整；

使用所述目標(biāo)對(duì)象的其他樣本歌曲音頻再對(duì)訓(xùn)練調(diào)整后的聲學(xué)轉(zhuǎn)換模型進(jìn)行訓(xùn)練調(diào)整，直至基于訓(xùn)練調(diào)整后的聲學(xué)轉(zhuǎn)換模型得到的歌曲音頻滿足預(yù)設(shè)條件，得到訓(xùn)練完成的聲學(xué)轉(zhuǎn)換模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述獲取目標(biāo)對(duì)象的樣本歌曲音頻中每個(gè)音頻幀對(duì)應(yīng)的音素信息和音高信息，并獲取所述每個(gè)音頻幀對(duì)應(yīng)的基準(zhǔn)頻譜特征信息，包括：

獲取所述目標(biāo)對(duì)象的樣本歌曲音頻和所述樣本歌曲音頻對(duì)應(yīng)的樣本歌詞；

根據(jù)所述樣本歌曲音頻和所述樣本歌詞，確定所述樣本歌曲音頻中每個(gè)音頻幀對(duì)應(yīng)的音素信息和音高信息；

提取所述樣本歌曲音頻的每個(gè)音頻幀對(duì)應(yīng)的頻譜特征信息，作為基準(zhǔn)頻譜特征信息。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述確定每個(gè)初始損失值對(duì)應(yīng)的權(quán)重值，包括：

根據(jù)每個(gè)音頻幀對(duì)應(yīng)的初始損失值以及公式得到每個(gè)初始損失值對(duì)應(yīng)的權(quán)重值；

其中，L_i為所述樣本歌曲音頻中第i個(gè)音頻幀對(duì)應(yīng)的初始損失值，n為所述樣本歌曲音頻包含的音頻幀的幀數(shù)，w_i為所述樣本歌曲音頻中第i個(gè)音頻幀的初始損失值對(duì)應(yīng)的權(quán)重值。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)每個(gè)音頻幀對(duì)應(yīng)的初始損失值和權(quán)重值，計(jì)算綜合損失值，包括：

確定每個(gè)音頻幀對(duì)應(yīng)的初始損失值和權(quán)重值之積；

將每個(gè)音頻幀對(duì)應(yīng)的初始損失值和權(quán)重值之積相加，得到綜合損失值。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

根據(jù)每個(gè)音頻幀對(duì)應(yīng)的權(quán)重值，得到損失調(diào)整值；

所述根據(jù)所述綜合損失值，對(duì)所述聲學(xué)轉(zhuǎn)換模型進(jìn)行訓(xùn)練調(diào)整，包括：

根據(jù)損失調(diào)整值，對(duì)所述綜合損失值進(jìn)行調(diào)整，得到調(diào)整后的綜合損失值；

根據(jù)所述調(diào)整后的綜合損失值，對(duì)所述聲學(xué)轉(zhuǎn)換模型進(jìn)行訓(xùn)練調(diào)整。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)損失調(diào)整值，對(duì)所述綜合損失值進(jìn)行調(diào)整，得到調(diào)整后的綜合損失值，包括：

將所述綜合損失值和所述損失調(diào)整值相加，得到調(diào)整后的綜合損失值。

7.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述根據(jù)每個(gè)音頻幀對(duì)應(yīng)的權(quán)重值，確定所述損失調(diào)整值，包括：

確定所述樣本歌曲音頻對(duì)應(yīng)的平均權(quán)重值；

確定權(quán)重值小于或等于所述平均權(quán)重值的音頻幀的數(shù)目；

如果權(quán)重值小于或等于平均權(quán)重值的音頻幀的數(shù)目占所有音頻幀的總數(shù)目的比例小于或者等于預(yù)設(shè)比例閾值，則確定所述損失調(diào)整值為0；

如果權(quán)重值小于或等于平均權(quán)重值的音頻幀的數(shù)目占所有音頻幀的總數(shù)目的比例大于所述預(yù)設(shè)比例閾值，則確定所述損失調(diào)整值為所述比例和所述預(yù)設(shè)比例閾值的差值。

8.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

獲取參考歌曲音頻和所述參考歌曲音頻對(duì)應(yīng)的參考歌詞；

根據(jù)所述參考歌曲音頻和所述參考歌詞，得到所述參考歌曲音頻中每個(gè)音頻幀對(duì)應(yīng)的音素信息和音高信息；

將每個(gè)音頻幀對(duì)應(yīng)的音素信息和音高信息輸入訓(xùn)練完成的聲學(xué)轉(zhuǎn)換模型，得到每個(gè)音頻幀對(duì)應(yīng)的頻譜特征信息；

將每個(gè)音頻幀對(duì)應(yīng)的頻譜特征信息輸入聲碼器，得到所述目標(biāo)對(duì)象的合成歌曲音頻。