[發明專利]語音處理方法、裝置、設備及存儲介質

在審

• 申請號: 202210118558.4
• 申請日: 2022-02-08
• 公開（公告）號: CN114495956A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 趙情恩;梁蕓銘;張銀輝
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L21/013
• 分類號: G10L21/013;G10L25/03;G10L25/18;G10L25/30
• 代理公司: 北京市鑄成律師事務所 11313
• 代理人: 包莉莉;王丹丹

本公開提供了語音處理方法、裝置、設備及存儲介質，數據處理領域，尤其涉及人工智能、深度學習、語音處理技術領域。具體實現方案為：獲取待處理文本的音素序列和參考風格音頻的風格屬性信息，風格屬性信息包含說話人特征和韻律特征；利用風格屬性信息，得到音素序列對應的音頻特征；根據音素序列對應的音頻特征，得到待處理文本對應的目標風格音頻。根據本公開的技術，將參考風格音頻的說話人的風格特性拆解成說話人特性和韻律風格兩部分，屏蔽了信道和內容的影響，減弱了二者之間的相互影響，以使目標風格音頻的風格屬性信息與參考風格音頻的風格屬性信息高度一致，從而提高了音頻的合成質量。

技術領域

本公開涉及數據處理領域，尤其涉及人工智能、深度學習、語音處理技術領域，具體涉及語音處理方法、裝置、設備及存儲介質。

背景技術

相關技術中，語音風格的遷移方案通常包括內容方面的特征提取、說話人特性的提取、音頻聲譜特征的預測，最后將聲譜通過現有的聲碼器轉換為音頻即可。由于在說話人特性的提取過程中，沒有將說話人的說話風格特性進行剝離，例如抑揚頓挫、短時停頓、重音等，從而在一定程度上影響了語音風格的遷移效果。

發明內容

本公開提供了語音處理方法、裝置、設備及存儲介質。

根據本公開的一方面，提供了一種語音處理方法，包括：

獲取待處理文本的音素序列和參考風格音頻的風格屬性信息，風格屬性信息包含說話人特征和韻律特征；

利用風格屬性信息，得到音素序列對應的音頻特征；

根據音素序列對應的音頻特征，得到待處理文本對應的目標風格音頻。

根據本公開的另一方面，提供了一種模型訓練方法，包括：

獲取初始風格編碼網絡和初始聲譜生成網絡，初始聲譜生成網絡包括文本編碼模塊和聲譜編碼模塊；以及，獲取參考風格音頻樣本和對應的文本標注樣本；

將參考風格音頻樣本輸入初始風格編碼網絡，得到預測風格屬性信息，預測風格屬性信息包含說話人特征和韻律特征；

將文本標注樣本和預測風格屬性信息輸入初始聲譜生成網絡，得到預測音頻特征；

利用預測音頻特征和參考風格音頻樣本的差異，對初始風格編碼網絡和初始聲譜生成網絡的參數進行調整，得到符合預設條件的目標風格編碼網絡和目標聲譜生成網絡。

根據本公開的另一方面，提供了一種語音處理裝置，包括：

獲取模塊，用于獲取待處理文本的音素序列和參考風格音頻的風格屬性信息，風格屬性信息包含說話人特征和韻律特征；

音頻特征生成模塊，用于利用風格屬性信息，得到音素序列對應的音頻特征；

目標風格音頻生成模塊，用于根據音素序列對應的音頻特征，得到待處理文本對應的目標風格音頻。

根據本公開的另一方面，提供了一種模型訓練裝置，包括：

網絡獲取模塊，用于獲取初始風格編碼網絡和初始聲譜生成網絡，初始聲譜生成網絡包括文本編碼模塊和聲譜編碼模塊；

樣本獲取模塊，用于獲取參考風格音頻樣本和對應的文本標注樣本；

預測風格屬性信息生成模塊，用于將參考風格音頻樣本輸入初始風格編碼網絡，得到預測風格屬性信息，預測風格屬性信息包含說話人特征和韻律特征；

預測音頻特征生成模塊，用于將文本標注樣本和預測風格屬性信息輸入初始聲譜生成網絡，得到預測音頻特征；

參數調整模塊，用于利用預測音頻特征和參考風格音頻樣本的差異，對初始風格編碼網絡和初始聲譜生成網絡的參數進行調整，得到符合預設條件的目標風格編碼網絡和目標聲譜生成網絡。