[發明專利]語音轉換方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110785424.3
• 申請日: 2021-07-12
• 公開（公告）號: CN113539239A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 詹皓粵;林悅
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L25/63;G10L15/26
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

本公開涉及語音處理領域，具體涉及一種語音轉換方法、裝置、存儲介質及電子設備。該語音轉換方法包括獲取原始語音數據，以及預設音色信息；提取所述原始語音數據的跨語言特征表示和情緒特征表示；基于所述跨語言特征表示、所述情緒特征表示和所述音色信息進行語音轉換，以得到目標語音數據。本公開提供的語音轉換方法能夠解決跨語言、多音色并保留情感的語音轉換問題。

技術領域

本公開涉及語音處理領域，具體涉及一種語音轉換方法、裝置、存儲介質及電子設備。

背景技術

近幾年來，隨著機器學習尤其是深度學習領域相關技術研究取得突飛猛進的進展，促進了人機交互方式的極大轉變，同時也伴隨著越來越多的商業化產品的落地。語音交互作為一種新型模式，不僅帶來了嶄新的用戶體驗，也擴大了各個產品設計思路及應用場景，為了在互聯網時代保護個人隱私，通常可以將語音進行情感轉換處理。

目前常見的情感語音轉換方式包括兩種方式：一種是錄制并制作包含多種情緒的語料庫，但使用時受限于語料庫中的情緒種類，且不具有通用性；另一種是錄制并制作多種固定情緒的小型語料庫，再進行過語音情緒轉換，但轉換后語音情感可控性不強，或者易出現轉換失敗的情況。

需要說明的是，在上述背景技術部分公開的信息僅用于加強對本公開的背景的理解，因此可以包括不構成對本領域普通技術人員已知的現有技術的信息。

發明內容

本公開的目的在于提供一種語音轉換方法、裝置、存儲介質及電子設備，旨在解決跨語言、多音色并保留情感的語音轉換問題。

本公開的其他特性和優點將通過下面的詳細描述變得顯然，或部分地通過本公開的實踐而習得。

根據本公開實施例的一個方面，提供了語音轉換方法包括：獲取原始語音數據，以及預設音色信息；提取所述原始語音數據的跨語言特征表示和情緒特征表示；基于所述跨語言特征表示、所述情緒特征表示和所述音色信息進行語音轉換，以得到目標語音數據。

根據本公開的一些實施例，基于前述方案，提取所述原始語音數據的跨語言特征表示，包括：對所述原始語音數據進行特征提取得到音頻特征；將所述音頻特征輸入預先訓練的跨語言特征提取模型，以得到所述跨語言特征表示。

根據本公開的一些實施例，基于前述方案，所述方法還包括預先訓練所述跨語言特征提取模型，包括：獲取內容相對應的語音樣本和文本樣本；對所述語音樣本進行特征提取得到樣本音頻特征，以及對所述文本樣本進行文本處理得到樣本跨語言特征；利用所述樣本音頻特征和所述樣本跨語言特征進行模型訓練，以得到所述跨語言特征提取模型。

根據本公開的一些實施例，基于前述方案，所述對所述文本樣本進行文本處理得到樣本跨語言特征，包括：根據預設的文本內容與統一字符之間的映射關系，將所述文本樣本轉換成采用統一字符表示的文本字符集合；基于所述文本字符集合得到所述樣本跨語言特征。

根據本公開的一些實施例，基于前述方案，在所述文本樣本包括一種語言類型時，所述對所述文本樣本進行文本處理得到樣本跨語言特征，包括：確定所述文本樣本的語言類型；根據文本內容與所述語言類型的音素之間的映射關系，將所述文本樣本轉換成文本音素集合；基于所述文本音素集合得到所述樣本跨語言特征。

根據本公開的一些實施例，基于前述方案，提取所述原始語音數據的情緒特征表示，包括：提取所述原始語音數據的情緒信息；將所述情緒信息轉換為特征向量以作為所述情緒特征表示。

根據本公開的一些實施例，基于前述方案，所述基于所述跨語言特征表示、所述情緒特征表示和所述音色信息進行語音轉換，以得到目標語音數據，包括：將所述跨語言特征表示、所述情緒特征表示和所述音色信息輸入預先訓練的語音轉換模型，以得到輸出的所述目標語音數據。