[發明專利]歌曲訓練數據處理方法、裝置及計算機可讀存儲介質

有效

• 申請號: 201910008832.0
• 申請日: 2019-01-04
• 公開（公告）號: CN109829482B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 朱清影;程寧;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F18/214
• 分類號: G06F18/214;G06N3/0464;G10L15/06;G10L25/30
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

本發明涉及語音語義技術領域，公開了一種歌曲訓練數據處理方法，該方法包括：獲取初始樣本數據，所述初始樣本數據包括每首歌的樂譜及每首歌的樂譜對應的清唱錄音，對初始樣本數據進行標注，得到訓練數據，并基于所述訓練數據，訓練得到聲學特征輸出模型。之后，該方法對目標訓練數據進行處理，將所述目標訓練數據中每首歌曲的語言學特征和音樂特征作為所述訓練后的聲學特征輸出模型的輸入數據，并輸出每首歌曲的聲學特征，根據所述每首歌曲的聲學特征及每首歌曲的音樂特征對每首歌曲進行音高轉移。本發明還提出一種歌曲訓練數據處理裝置以及一種計算機可讀存儲介質。本發明實現了在不錄制額外語料的情況下，提高訓練樣本數量。

技術領域

本發明涉及語音語義技術領域，尤其涉及一種歌曲訓練數據處理方法、裝置及計算機可讀存儲介質。

背景技術

歌唱合成的概念一經推出，就一直廣受人們的關注，其最終目標是讓機器以堪比真人歌手的自然度唱出各種旋律的歌曲。參數合成是歌唱合成的主流技術之一，其技術核心是通過訓練模型，讓模型學習如何將歌詞的語言特征和樂譜的音樂特征轉化為歌唱的聲學特征。因此，模型的訓練是參數合成技術中至關重要的一步，而訓練后模型的性能依賴于訓練語料的質量。如果某些語境因素少或從未出現在訓練語料中，那么模型將不能很好的學習到如何準確的合成這些因素。另外，在所有音樂因素中，音高是影響歌唱質量的主要原因之一，所以使語料均勻而全面的概括各個音高是訓練數據時的一大要點，現有技術中需要錄制很多訓練樣本，才能得到全面的概括各個音高的語料，不僅需要非常多的人力，物力和時間，而且音高分布參差不齊。

發明內容

本發明提供一種歌曲訓練數據處理方法、裝置及計算機可讀存儲介質，其主要目的在于實現在不錄制額外語料的情況下，提高訓練樣本數量，得到音高分布均勻的訓練樣本。

為實現上述目的，本發明還提供一種歌曲訓練數據處理方法，所述方法包括：

獲取初始樣本數據，所述初始樣本數據包括每首歌的樂譜及每首歌的樂譜對應的清唱錄音；

對初始樣本數據進行標注，得到訓練數據；

基于所述訓練數據，訓練得到聲學特征輸出模型；

獲取目標訓練數據；

提取所述目標訓練數據中每首歌曲的語言學特征和音樂特征；

將所述目標訓練數據中每首歌曲的語言學特征和音樂特征作為所述訓練后的聲學特征輸出模型的輸入數據，并輸出每首歌曲的聲學特征；

根據所述每首歌曲的聲學特征及每首歌曲的音樂特征對每首歌曲進行音高轉移。

可選地，所述初始樣本數據包括各個音域的歌曲；其中音域指某人聲或樂器所能達到的最低音至最高音的范圍。

可選地，所述對初始樣本數據進行標注，得到訓練數據包括：

提取所述初始樣本數據中每首歌曲的語言學特征和音樂特征，將每首歌曲的語言學特征和音樂特征作為訓練聲學特征輸出模型的輸入參數，其中所述語言學特征包括：歌詞的發音、歌詞的前后關聯；所述音樂特征包括：樂譜的音調、拍號、各音符的音高、音符時長。

可選地，所述基于所述訓練數據，訓練得到聲學特征輸出模型包括：

在訓練所述聲學特征輸出模型時，利用訓練算法根據每首歌驅的語言學特征和音樂特征輸出每首歌的聲學特征，并將輸出的每首歌的聲學特征與每首歌曲的清唱錄音進行對比，直至使所述聲學特征輸出模型能提取每首歌曲的聲學特征，其中所述聲學特征包括基頻和梅爾頻譜系數。

可選地，所述根據所述每首歌曲的聲學特征及每首歌曲的音樂特征對每首歌曲進行音高轉移包括以下過程：

將每個首歌曲的音樂特征中所有音符的音高進行調整包括：將每個首歌曲的音樂特征中所有音符的音高都調高或調低半音，其他所有的音樂特征保持不變；