[發明專利]確定歌詞時間戳信息的方法和聲學模型的訓練方法

在審

• 申請號: 202011577438.8
• 申請日: 2020-12-28
• 公開（公告）號: CN112786025A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 王武城;趙偉峰
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G10L17/04;G10L25/00
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 寧立存

本申請公開了一種確定歌詞時間戳信息的方法和聲學模型的訓練方法，屬于互聯網技術領域。所述方法包括：將所述目標歌詞文本中包括的非中文歌詞替換為對應的諧音漢字，得到替換后的歌詞文本；確定所述替換后的歌詞文本中每個字對應的音素組成的音素集合；將所述目標歌詞文本對應的目標干聲音頻以及所述音素集合中的各音素輸入到預先訓練的聲學模型，得到所述目標干聲音頻對應的音素序列；確定所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，基于所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，以確定所述目標歌詞文本對應的歌詞時間戳信息。采用本申請能夠提高得到歌曲對應的歌詞時間戳信息的效率。

技術領域

本申請涉及互聯網技術領域，特別涉及一種確定歌詞時間戳信息的方法和聲學模型的訓練方法。

背景技術

隨著互聯網技術的發展，用戶通過網絡下載或播放歌曲早已十分常見。例如可以通過各種音樂播放應用程序播放歌曲，并且在音樂播放應用程序中播放歌曲時，歌曲播放界面中還可以顯示對應當前歌曲播放進度的歌詞。

在相關技術中，一般每個歌曲都會對應有一個歌詞文件，在歌詞文件中可以包括歌詞文本和對應的歌詞時間戳信息，歌詞時間戳信息即各句歌詞以及每句歌詞中的各個字在歌曲中對應的播放起始時間點和播放結束時間點。在音樂播放應用程序中播放歌曲時，音樂播放應用程序可以根據歌詞文件在歌曲播放界面中顯示與當前歌曲的播放進度對應的歌詞。

在實現本申請的過程中，發明人發現相關技術至少存在以下問題：

在相關技術中歌詞文件中的歌詞時間戳信息是通過人工標注得到的，但是音樂播放應用程序對應的音樂庫中每天都會新增大量的歌曲，如果僅通過人工標注的方法得到各個歌曲對應的歌詞時間戳信息，會使得到各個歌曲對應的歌詞時間戳信息的效率較低。

發明內容

本申請實施例提供了一種確定歌詞時間戳信息的方法和聲學模型的訓練方法，能夠提高得到歌曲的歌詞時間戳信息的效率。所述技術方案如下：

第一方面，提供了一種確定歌詞時間戳信息的方法，所述方法包括：

提取目標歌曲的目標干聲音頻，并獲取所述目標歌曲對應的目標歌詞文本；

如果所述目標歌詞文本中包括中文歌詞和非中文歌詞，則基于預設的非中文歌詞與諧音漢字的對應關系，將所述目標歌詞文本中包括的非中文歌詞替換為對應的諧音漢字，得到替換后的歌詞文本；

確定所述替換后的歌詞文本中每個字對應的音素組成的音素集合；

將所述目標干聲音頻以及所述音素集合中的各音素輸入到預先訓練的聲學模型，得到所述目標干聲音頻對應的音素序列，其中，所述音素序列是所述目標干聲音頻對應的多個音素按照發聲時間的順序排列組成的，所述音素序列中包括的音素為所述音素集合中的音素；

確定所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，基于所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，確定所述替換后的歌詞文本中每個字在所述目標干聲音頻中對應的起始演唱時間點和結束演唱時間點；

基于所述替換后的歌詞文本中每個字在所述目標干聲音頻中對應的起始演唱時間點和結束演唱時間點，確定所述目標歌詞文本對應的歌詞時間戳信息。

可選的，所述獲取所述目標歌曲對應的目標歌詞文本，包括：

獲取所述目標歌曲對應的初始歌詞文本；

對所述初始歌詞文本進行非歌詞信息濾除處理，得到目標歌詞文本。

可選的，所述將所述目標干聲音頻以及所述音素集合中的各音素輸入到預先訓練的聲學模型，得到所述目標干聲音頻對應的音素序列，包括：

提取所述目標干聲音頻的音頻特征；