[發明專利]訓練聲學轉換模型的方法、終端及存儲介質

在審

• 申請號: 202110321807.5
• 申請日: 2021-03-25
• 公開（公告）號: CN112992107A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 莊曉濱;姜濤;胡鵬;吳斌;黃昕;周思瑜
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10H1/00
• 分類號: G10H1/00;G10H1/02
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 祝亞男

本申請公開了一種訓練聲學轉換模型的方法、終端及存儲介質，屬于互聯網技術領域。該方法包括：獲取目標對象的樣本歌曲音頻中每個音頻幀對應的音素信息和音高信息，并獲取每個音頻幀對應的基準頻譜特征信息；將每個音頻幀對應的音素信息和音高信息輸入聲學轉換模型，得到每個音頻幀對應的預測頻譜特征信息；根據每個音頻幀對應的預測頻譜特征信息和基準頻譜特征信息，確定每個音頻幀對應的初始損失值；確定每個初始損失值對應的權重值，根據每個音頻幀對應的初始損失值和權重值，計算綜合損失值；根據綜合損失值，對聲學轉換模型進行訓練調整。本申請實施例可以在一定程度上提高訓練調整后的聲學轉換模型的準確性。

技術領域

本申請涉及互聯網技術領域，特別涉及一種訓練聲學轉換模型的方法、終端及存儲介質。

背景技術

近年來，歌曲合成技術一直備受社會各界的關注，該技術最大的便利性在于可以合成某人沒有演唱過的歌曲音頻。例如，在用戶想要收聽許嵩的歌曲音頻《平凡之路》，但實際上許嵩并沒有演唱過歌曲音頻《平凡之路》情況下，用戶可以先找到樸樹演唱的歌曲音頻《平凡之路》以及歌曲音頻《平凡之路》的歌詞，使得終端基于樸樹演唱的歌曲音頻《平凡之路》和歌曲音頻《平凡之路》的歌詞生成許嵩的歌曲音頻《平凡之路》。在上述過程中，終端生成許嵩的歌曲音頻《平凡之路》的具體步驟為：將歌詞和歌曲音頻輸入強制對齊模型，得到每個音頻幀對應的音素信息，并提取歌曲音頻的每個音頻幀的音高信息。將每個音頻幀的音素信息和音高信息輸入訓練完成的許嵩的聲學轉換模型，輸出每個音頻幀對應的頻譜特征信息。將每個音頻幀對應的頻譜特征信息輸入聲碼器，得到生成許嵩的歌曲音頻《平凡之路》。

在相關技術中，確定損失值的方法為計算每個音頻幀的預測頻譜特征信息和基準頻譜特征信息之間的初始損失值，并將每個音頻幀對應的初始損失值進行相加，得到綜合損失值。而在實際過程中，基于強制對齊模型得到的音素信息可能存在一定的誤差，這樣會導致訓練調整后的聲學轉換模型不準確。

發明內容

本申請實施例提供了一種訓練聲學轉換模型的方法、終端及存儲介質，能夠在一定程度上提高訓練調整后的聲學轉換模型的準確性。該技術方案如下：

一方面，本申請實施例一種訓練聲學轉換模型的方法，所述方法包括：

獲取目標對象的樣本歌曲音頻中每個音頻幀對應的音素信息和音高信息，并獲取所述每個音頻幀對應的基準頻譜特征信息；

將每個音頻幀對應的音素信息和音高信息輸入聲學轉換模型，得到每個音頻幀對應的預測頻譜特征信息；

根據每個音頻幀對應的預測頻譜特征信息和基準頻譜特征信息，確定每個音頻幀對應的初始損失值；

確定每個初始損失值對應的權重值，其中，所述權重值與對應的初始損失值負相關；

根據每個音頻幀對應的初始損失值和權重值，計算綜合損失值；

根據所述綜合損失值，對所述聲學轉換模型進行訓練調整；

使用所述目標對象的其他樣本歌曲音頻再對訓練調整后的聲學轉換模型進行訓練調整，直至基于訓練調整后的聲學轉換模型得到的歌曲音頻滿足預設條件，得到訓練完成的聲學轉換模型。

可選的，所述獲取目標對象的樣本歌曲音頻中每個音頻幀對應的音素信息和音高信息，并獲取所述每個音頻幀對應的基準頻譜特征信息，包括：

獲取所述目標對象的樣本歌曲音頻和所述樣本歌曲音頻對應的樣本歌詞；

根據所述樣本歌曲音頻和所述樣本歌詞，確定所述樣本歌曲音頻中每個音頻幀對應的音素信息和音高信息；

提取所述樣本歌曲音頻的每個音頻幀對應的頻譜特征信息，作為基準頻譜特征信息。

可選的，所述確定每個初始損失值對應的權重值，包括：