[發明專利]混合聲學模型訓練及歌詞時間戳生成方法、設備、介質

有效

• 申請號: 202110657042.2
• 申請日: 2021-06-11
• 公開（公告）號: CN113393830B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 張斌;趙偉峰;雷兆恒;周文江;張柏生;李幸燁;苑文波;楊小康;李童;林艷秋;曹利;代玥;胡鵬
• 申請（專利權）人: 騰訊音樂娛樂科技（深圳）有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/14;G10L15/16;G10L15/20;G10L25/24;G10L25/27;G10L25/30;G10L25/51
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 張金香

1.一種混合聲學模型訓練方法，其特征在于，包括：

獲取初始的所述混合聲學模型；

獲取待訓練音頻及所述待訓練音頻對應的待訓練音素，其中，所述待訓練音頻包括單語種音頻和混合語種音頻，且所述待訓練音素中的每個音素均攜帶有該音素所屬語種的標識信息；

基于所述待訓練音頻及所述待訓練音素對初始的所述混合聲學模型進行訓練，得到所述混合聲學模型；

所述混合聲學模型用于，基于輸入的待處理音頻確定所述待處理音頻對應的各個第一類音素信息，且每個所述第一類音素信息中攜帶有該音素所屬語種的標識信息，獲取所述待處理音頻對應的歌詞文本信息，基于預先生成的混合發音詞典，確定所述歌詞文本信息對應的各個第二類音素信息，且每個所述第二類音素信息中攜帶有該音素所屬語種的標識信息，其中，所述混合發音詞典由目標文本及所述目標文本對應的目標音素組成，所述目標文本包括單語種文本及混合語種文本，且所述目標音素中的每個音素均攜帶有該音素所屬語種的標識信息。

2.根據權利要求1所述的方法，其特征在于，所述待訓練音素中的中文音素為無聲調的中文音素。

3.根據權利要求1所述的方法，其特征在于，所述基于所述待訓練音頻及所述待訓練音素對初始的所述混合聲學模型進行訓練，得到所述混合聲學模型，包括：

提取所述待訓練音頻的訓練梅爾倒數譜系數；

基于所述訓練梅爾倒數譜系數及所述待訓練音素對初始的所述混合聲學模型進行訓練，得到所述混合聲學模型。

4.一種歌詞時間戳生成方法，其特征在于，包括：

獲取待處理音頻；

將所述待處理音頻輸入如權利要求1-3任意一項所述的混合聲學模型，確定所述待處理音頻對應的各個第一類音素信息，且每個所述第一類音素信息中攜帶有該音素所屬語種的標識信息；

獲取所述待處理音頻對應的歌詞文本信息；

基于預先生成的混合發音詞典，確定所述歌詞文本信息對應的各個第二類音素信息，且每個所述第二類音素信息中攜帶有該音素所屬語種的標識信息，其中，所述混合發音詞典由目標文本及所述目標文本對應的目標音素組成，所述目標文本包括單語種文本及混合語種文本，且所述目標音素中的每個音素均攜帶有該音素所屬語種的標識信息；

確定所述第一類音素信息與所述第二類音素信息間的對應關系；

基于所述對應關系將所述歌詞文本信息和所述待處理音頻進行對齊，并基于所述待處理音頻的時間信息，確定所述歌詞文本信息的目標時間戳信息。

5.根據權利要求4所述的方法，其特征在于，所述第一類音素信息、所述第二類音素信息、所述待訓練音素及所述目標音素中的中文音素均為無聲調的中文音素。

6.根據權利要求4所述的方法，其特征在于，所述獲取待處理音頻，包括：

獲取用戶生成的所述待處理音頻；

所述確定所述歌詞文本信息的目標時間戳信息之后，還包括：

獲取所述歌詞文本信息的標準時間戳信息；

基于所述目標時間戳信息及所述標準時間戳信息對用戶生成所述待處理音頻的過程進行評價。

7.根據權利要求4至6任一項所述的方法，其特征在于，所述基于權利要求1-3任意一項所述混合聲學模型，確定所述待處理音頻對應的各個第一類音素信息，包括：

對所述待處理音頻進行分幀，得到待處理幀音頻；

提取所述待處理幀音頻的目標梅爾倒頻譜系數；

將所述目標梅爾倒頻譜系數輸入預先訓練的所述混合聲學模型；

獲取所述混合聲學模型輸出的各個所述第一類音素信息。

8.根據權利要求7所述的方法，其特征在于，所述第一類音素信息、所述第二類音素信息、所述待訓練音素及所述目標音素的數據結構包括：音素所屬語種的標識信息、連接符、音素；其中，所述連接符用于連接所述音素所屬語種的標識信息及所述音素。