[發明專利]一種語音合成方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202110602414.1
• 申請日: 2021-05-31
• 公開（公告）號: CN113327575A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 戶建坤;康世胤;吳志勇;陳學源;劉峰
• 申請（專利權）人: 廣州虎牙科技有限公司;清華大學深圳國際研究生院
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L25/30
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 孟金喆

本發明實施例提供了一種語音合成方法、裝置、計算機設備和存儲介質，該方法包括：在本實施例中，接收屬于非目標語言的參考語音信號、屬于目標語言的目標文本信息，識別參考語音信號中表征音色的特征，作為目標音色，確定為目標語言訓練的語音合成器，語音合成器包括聲學模型、聲碼器，在聲學模型中，將目標文本信息轉換為屬于目標語言的、且符合目標音色的頻譜特征，作為目標頻譜特征，在聲碼器中，將目標頻譜特征轉換為屬于目標語言的目標語音信號，作為非目標語言的參考語音信號的音色并未用于針對目標語言訓練語音合成器，在實現跨語種的語音合成的場景中，可實現未見說話者的音色克隆。

技術領域

本發明實施例涉及語音處理的技術領域，尤其涉及一種語音合成方法、裝置、計算機設備和存儲介質。

背景技術

TTS(Text To Speech，文字轉語音)旨在將文字轉換為語音，是人機對話的一部分，讓機器能夠說話，近年來，隨著聲學模型和聲碼器技術的飛速發展，TTS在語音助手，有聲讀物和口語對話系統等許多領域都發揮著重要作用。

TTS可以為擁有大量高質量語音的說話者生成自然語音，幾乎可以以假亂真，目前，TTS受限于訓練集，對已訓練的說話者的音色進行克隆，但是，說話者的音色較難獲取，尤其是在跨語種的TTS的場景中，難以采集說話者的音色，并且，眾多說話者的音色均有所不同，采集眾多說話者的音色將會大大增加訓練集的數據量，導致訓練的難度大大增加。

發明內容

本發明實施例提出了一種語音合成方法、裝置、計算機設備和存儲介質，以解決在未見音色的情況下如何克隆音色進行語言合成的問題。

第一方面，本發明實施例提供了一種語音合成方法，包括：

接收屬于非目標語言的參考語音信號、屬于目標語言的目標文本信息；

識別所述參考語音信號中表征音色的特征，作為目標音色；

確定為所述目標語言訓練的語音合成器，所述語音合成器包括聲學模型、聲碼器；

在所述聲學模型中，將所述目標文本信息轉換為屬于所述目標語言的、且符合所述目標音色的頻譜特征，作為目標頻譜特征；

在所述聲碼器中，將所述目標頻譜特征轉換為屬于所述目標語言的目標語音信號。

第二方面，本發明實施例還提供了一種語音合成裝置，包括：

合成信息接收模塊，用于接收屬于非目標語言的參考語音信號、屬于目標語言的目標文本信息；

目標音色提取模塊，用于識別所述參考語音信號中表征音色的特征，作為目標音色；

語音合成器確定模塊，用于確定為所述目標語言訓練的語音合成器，所述語音合成器包括聲學模型、聲碼器；

目標頻譜特征生成模塊，用于在所述聲學模型中，將所述目標文本信息轉換為屬于所述目標語言的、且符合所述目標音色的頻譜特征，作為目標頻譜特征；

目標語音信號生成模塊，用于在所述聲碼器中，將所述目標頻譜特征轉換為屬于所述目標語言的目標語音信號。

第三方面，本發明實施例還提供了一種計算機設備，所述計算機設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如第一方面所述的語音合成方法。

第四方面，本發明實施例還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲計算機程序，所述計算機程序被處理器執行時實現如第一方面所述的語音合成方法。