[發明專利]一種語種識別的方法、模型訓練的方法、裝置及設備

有效

• 申請號: 201911137417.1
• 申請日: 2019-11-19
• 公開（公告）號: CN110853618B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 高驥;張姍姍;黃申;巫海維;蔡煒城;李明
• 申請（專利權）人: 騰訊科技（深圳）有限公司;昆山杜克大學
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L15/16;G10L21/0272;G10L21/0308;G10L25/18;G10L25/30
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 吳磊

本申請公開了一種語種識別的方法，包括：獲取待識別音頻數據；從所述待識別音頻數據提取音頻頻域特征；基于所述音頻頻域特征，對所述待識別音頻數據進行聲伴數據分離，得到待識別語音數據，其中，所述聲伴數據分離為從音頻數據中分離出語音數據和伴奏數據；對所述待識別語音數據進行語種識別，得到所述待識別音頻數據的語種識別結果。本申請還公開了一種模型訓練的方法、裝置及設備。本申請在語種識別模型中僅輸入待識別語音數據，去除伴奏音樂的部分，從而減少了伴奏音樂對語種識別的干擾，從而提升了歌曲語種識別的準確度。

技術領域

本申請涉及人工智能領域，尤其涉及一種語種識別的方法、模型訓練的方法、裝置及設備。

背景技術

隨著現代社會信息的全球化，語種識別成為語音識別技術研究熱點之一。語種識別技術能夠制造一種模仿人的思維對語音進行語種辨識的機器，從語音信號中提取出各語種的差異信息，并以此為依據判斷所屬語種。

對歌曲語種的識別屬于語音信息處理中的語種識別范疇。目前，對歌曲語種進行識別的方法為，將歌曲直接輸入至語音識別的通用引擎中，該通用引擎從歌曲的語音學特征中對歌曲的語種進行分類識別。

由于通常歌曲包括人聲歌唱與伴奏音樂兩部分，因此，直接提取的語音學特征同時包含人聲歌唱和伴奏音樂兩個部分。然而，在歌曲語種的識別任務中，人聲歌唱的特征起到主要作用，而伴奏音樂的特征則會對識別造成一定程度上的干擾，從而降低了歌曲語種識別的準確度。

發明內容

本申請實施例提供了一種語種識別的方法、模型訓練的方法、裝置及設備，在語種識別模型中僅輸入待識別語音數據，而去除伴奏音樂的部分，從而減少了伴奏音樂對語種識別的干擾，從而提升了歌曲語種識別的準確度。

有鑒于此，本申請第一方面提供一種語種識別的方法，包括：

獲取待識別音頻數據；

從所述待識別音頻數據提取音頻頻域特征；

基于所述音頻頻域特征，對所述待識別音頻數據進行聲伴數據分離，得到待識別語音數據，其中，所述聲伴數據分離為從音頻數據中分離出語音數據和伴奏數據；

對所述待識別語音數據進行語種識別，得到所述待識別音頻數據的語種識別結果。

本申請第二方面提供一種模型訓練的方法，包括：

獲取待訓練音頻數據集合，其中，所述待訓練音頻數據集合包括至少一個待訓練樣本對，所述待訓練樣本對包括音頻數據樣本、語音數據樣本以及伴奏數據樣本，所述語音數據樣本具有已標注的真實語音標簽，所述伴奏數據樣本具有已標注的真實伴奏標簽；

基于所述待訓練音頻數據集合，通過待訓練聲伴分離模型獲取所述音頻數據樣本對所對應的第一預測音頻以及第二預測音頻，其中，所述第一預測音頻對應于預測語音標簽，所述第二預測音頻對應于預測伴奏標簽；

根據所述真實語音標簽、所述預測語音標簽、所述真實伴奏標簽以及所述預測伴奏標簽，確定損失函數；

基于所述損失函數訓練所述待訓練聲伴分離模型，得到聲伴分離模型。

本申請第三方面提供一種模型訓練的方法，包括：

獲取第一待訓練語音樣本集合，其中，所述第一待訓練語音樣本集合包括至少一個第一待訓練語音樣本，所述第一待訓練語音樣本具有已標注的真實語種標簽；

根據所述第一待訓練語音樣本集合生成第二待訓練語音樣本集合，其中，所述第二待訓練語音樣本集合包括至少一個第二待訓練語音樣本，所述第二待訓練語音樣本為所述第一待訓練語音樣本經過基頻隨機變換后得到的；