[發明專利]確定歌詞時間戳信息的方法和聲學模型的訓練方法

在審

• 申請號: 202011577438.8
• 申請日: 2020-12-28
• 公開（公告）號: CN112786025A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 王武城;趙偉峰
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/26;G10L17/04;G10L25/00
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 寧立存

1.一種確定歌詞時間戳信息的方法，其特征在于，所述方法包括：

提取目標歌曲的目標干聲音頻，并獲取所述目標歌曲對應的目標歌詞文本；

如果所述目標歌詞文本中包括中文歌詞和非中文歌詞，則基于預設的非中文歌詞與諧音漢字的對應關系，將所述目標歌詞文本中包括的非中文歌詞替換為對應的諧音漢字，得到替換后的歌詞文本；

確定所述替換后的歌詞文本中每個字對應的音素組成的音素集合；

將所述目標干聲音頻以及所述音素集合中的各音素輸入到預先訓練的聲學模型，得到所述目標干聲音頻對應的音素序列，其中，所述音素序列是所述目標干聲音頻對應的多個音素按照發聲時間的順序排列組成的，所述音素序列中包括的音素為所述音素集合中的音素；

確定所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，基于所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，確定所述替換后的歌詞文本中每個字在所述目標干聲音頻中對應的起始演唱時間點和結束演唱時間點；

基于所述替換后的歌詞文本中每個字在所述目標干聲音頻中對應的起始演唱時間點和結束演唱時間點，確定所述目標歌詞文本對應的歌詞時間戳信息。

2.根據權利要求1所述的方法，其特征在于，所述獲取所述目標歌曲對應的目標歌詞文本，包括：

獲取所述目標歌曲對應的初始歌詞文本；

對所述初始歌詞文本進行非歌詞信息濾除處理，得到目標歌詞文本。

3.根據權利要求1所述的方法，其特征在于，所述將所述目標干聲音頻以及所述音素集合中的各音素輸入到預先訓練的聲學模型，得到所述目標干聲音頻對應的音素序列，包括：

提取所述目標干聲音頻的音頻特征；

將所述目標干聲音頻的音頻特征以及所述音素集合中的各音素輸入到所述預先訓練的聲學模型中，得到所述目標干聲音頻中每個音頻幀對應的音素；

基于所述目標干聲音頻中每個音頻幀對應的音素，確定所述目標干聲音頻對應的音素序列。

4.根據權利要求3所述的方法，其特征在于，所述提取所述目標干聲音頻的音頻特征，包括：

提取所述目標干聲音頻中每個音頻幀的MFCC特征；

對于任一音頻幀，將所述任一音頻幀對應的MFCC特征與所述任一幀音頻相鄰的兩個音頻幀對應的MFCC特征進行拼接降維處理，得到每個音頻幀對應的拼接降維處理后的音頻特征；

將所述每個音頻幀對應的拼接降維處理后的音頻特征輸入到預先訓練的語音自適應模型，得到每個音頻幀對應的自適應音頻特征，將所述每個音頻幀對應的自適應音頻特征確定為所述目標干聲音頻的音頻特征。

5.根據權利要求1所述的方法，其特征在于，所述確定所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，包括：

基于動態規劃算法對所述確定所述替換后的歌詞文本中每個字對應的音素以及所述音素序列中對應的音素進行匹配，得到所述替換后的歌詞文本中每個字在所述音素序列中對應的音素。

6.根據權利要求1所述的方法，其特征在于，所述確定所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，包括：

將所述音素序列輸入到預先設置的語言模型中，得到所述音素序列對應的識別文本；

將所述識別文本中每個字在所述音素序列中對應的音素確定為所述替換后的歌詞文本中每個字在所述音素序列中對應的音素。

7.根據權利要求1所述的方法，其特征在于，所述基于所述替換后的歌詞文本中每個字在所述音素序列中對應的音素，確定所述替換后的歌詞文本中每個字在所述目標干聲音頻中對應的起始演唱時間點和結束演唱時間點，包括：

確定所述替換后的歌詞文本每個字在所述音素序列中對應的音素在所述目標干聲音頻中對應的音頻幀；

基于所述替換后的歌詞文本每個字在所述目標干聲音頻中對應的音頻幀，確定所述替換后的歌詞文本中每個字在所述目標干聲音頻中對應的起始演唱時間點和結束演唱時間點。