[發明專利]語音轉換方法、裝置、存儲介質及電子設備

在審

• 申請號: 202110785424.3
• 申請日: 2021-07-12
• 公開（公告）號: CN113539239A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 詹皓粵;林悅
• 申請（專利權）人: 網易（杭州）網絡有限公司
• 主分類號: G10L15/00
• 分類號: G10L15/00;G10L15/02;G10L15/06;G10L25/63;G10L15/26
• 代理公司: 北京律智知識產權代理有限公司 11438
• 代理人: 王輝;闞梓瑄

1.一種語音轉換方法，其特征在于，包括：

獲取原始語音數據，以及預設音色信息；

提取所述原始語音數據的跨語言特征表示和情緒特征表示；

基于所述跨語言特征表示、所述情緒特征表示和所述音色信息進行語音轉換，以得到目標語音數據。

2.根據權利要求1所述的語音轉換方法，其特征在于，提取所述原始語音數據的跨語言特征表示，包括：

對所述原始語音數據進行特征提取得到音頻特征；

將所述音頻特征輸入預先訓練的跨語言特征提取模型，以得到所述跨語言特征表示。

3.根據權利要求2所述的語音轉換方法，其特征在于，所述方法還包括預先訓練所述跨語言特征提取模型，包括：

獲取內容相對應的語音樣本和文本樣本；

對所述語音樣本進行特征提取得到樣本音頻特征，以及對所述文本樣本進行文本處理得到樣本跨語言特征；

利用所述樣本音頻特征和所述樣本跨語言特征進行模型訓練，以得到所述跨語言特征提取模型。

4.根據權利要求3所述的語音轉換方法，其特征在于，所述對所述文本樣本進行文本處理得到樣本跨語言特征，包括：

根據預設的文本內容與統一字符之間的映射關系，將所述文本樣本轉換成采用統一字符表示的文本字符集合；

基于所述文本字符集合得到所述樣本跨語言特征。

5.根據權利要求3所述的語音轉換方法，其特征在于，在所述文本樣本包括一種語言類型時，所述對所述文本樣本進行文本處理得到樣本跨語言特征，包括：

確定所述文本樣本的語言類型；

根據文本內容與所述語言類型的音素之間的映射關系，將所述文本樣本轉換成文本音素集合；

基于所述文本音素集合得到所述樣本跨語言特征。

6.根據權利要求1所述的語音轉換方法，其特征在于，提取所述原始語音數據的情緒特征表示，包括：

提取所述原始語音數據的情緒信息；

將所述情緒信息轉換為特征向量以作為所述情緒特征表示。

7.根據權利要求1所述的語音轉換方法，其特征在于，所述基于所述跨語言特征表示、所述情緒特征表示和所述音色信息進行語音轉換，以得到目標語音數據，包括：

將所述跨語言特征表示、所述情緒特征表示和所述音色信息輸入預先訓練的語音轉換模型，以得到輸出的所述目標語音數據。

8.根據權利要求7所述的語音轉換方法，其特征在于，所述方法還包括預先訓練所述語音轉換模型，包括：

獲取語音樣本和所述語音樣本對應的轉換語音樣本，以及預設樣本音色信息；

利用預先訓練的跨語言特征提取模型提取所述語音樣本的樣本跨語言特征表示；以及

提取所述語音樣本的樣本情緒特征表示；

利用所述樣本跨語言特征表示、所述樣本情緒特征表示、所述轉換語音樣本和所述樣本音色信息進行模型訓練，以得到所述語音轉換模型。

9.一種語音轉換裝置，其特征在于，包括：

準備模塊，用于獲取原始語音數據，以及預設音色信息；

提取模塊，用于提取所述原始語音數據的跨語言特征表示和情緒特征表示；

轉換模塊，用于基于所述跨語言特征表示、所述情緒特征表示和所述音色信息進行語音轉換，以得到目標語音數據。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，所述程序被處理器執行時實現如權利要求1至8任一項所述的語音轉換方法。

11.一種電子設備，其特征在于，包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，當所述一個或多個程序被所述一個或多個處理器執行時，使得所述一個或多個處理器實現如權利要求1至8任一項所述的語音轉換方法。