[發(fā)明專利]語音合成方法及對應模型的訓練方法、裝置、設備與介質

在審

• 申請?zhí)枺?/td>: 202011253104.5
• 申請日: 2020-11-11
• 公開（公告）號: CN112365881A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設計）人: 王文富;孫濤;王錫磊;張君騰;高正坤;賈磊
• 申請（專利權）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/10;G10L25/30
• 代理公司: 北京鴻德海業(yè)知識產權代理有限公司 11412
• 代理人: 田宏賓

1.一種語音合成方法，其中，所述方法包括：

獲取待合成語音的風格信息和音色信息、以及待處理文本的內容信息；

采用預先訓練的語音合成模型，基于所述風格信息、所述音色信息以及所述待處理文本的內容信息，生成所述待處理文本的聲學特征信息；

基于所述待處理文本的聲學特征信息，合成所述待處理文本的語音。

2.根據(jù)權利要求1所述的方法，其中，采用預先訓練的語音合成模型，基于所述風格信息、所述音色信息以及所述待處理文本的內容信息，生成所述待處理文本的聲學特征信息，包括：

采用所述語音合成模型中的內容編碼器對所述待處理文本的內容信息進行編碼，得到內容編碼特征；

采用所述語音合成模型中的風格編碼器對待處理文本的內容信息和所述風格信息進行編碼，得到風格編碼特征；

采用所述語音合成模型中的音色編碼器對所述音色信息進行編碼，得到音色編碼特征；

采用所述語音合成模型中的解碼器，基于所述內容編碼特征、所述風格編碼特征和所述音色編碼特征，進行解碼，生成所述待處理文本的聲學特征信息。

3.根據(jù)權利要求1-2任一所述的方法，其中，獲取待合成語音的風格信息，包括：

獲取用戶的輸入風格的描述信息；根據(jù)所述輸入風格的描述信息，從預設的風格表中獲取所述輸入風格對應的風格標識，作為所述待合成語音的風格信息；或者

獲取采用輸入風格描述的音頻信息；從所述音頻信息中提取所述輸入風格的音色信息，作為所述待合成語音的風格信息。

4.一種語音合成模型的訓練方法，其中，所述方法包括：

采集數(shù)條訓練數(shù)據(jù)，各所述訓練數(shù)據(jù)中包括待合成語音的訓練風格信息、訓練音色信息、訓練文本的內容信息、以及采用所述訓練風格信息對應的訓練風格描述所述訓練文本的內容信息的風格特征信息、和采用所述訓練風格信息對應的訓練風格和所述訓練音色信息對應的訓練音色描述所述訓練文本的內容信息的目標聲學特征信息；

采用所述數(shù)條訓練數(shù)據(jù)，對所述語音合成模型進行訓練。

5.根據(jù)權利要求4所述的方法，其中，采用所述數(shù)條訓練數(shù)據(jù)，對所述語音合成模型進行訓練，包括：

對于各所述訓練數(shù)據(jù)，采用所述語音合成模型中的內容編碼器、風格編碼器和音色編碼器，分別對所述訓練數(shù)據(jù)中的所述訓練文本的內容信息、所述訓練風格信息和所述訓練音色信息進行編碼，依次得到訓練內容編碼特征、訓練風格編碼特征和訓練音色編碼特征；

采用所述語音合成模型中的風格提取器，基于所述訓練文本的內容信息和采用所述訓練風格信息對應的訓練風格描述所述訓練文本的內容信息的風格特征信息，提取目標訓練風格編碼特征；

采用所述語音合成模型中的解碼器，基于所述訓練內容編碼特征、所述目標訓練風格編碼特征和所述訓練音色編碼特征，進行解碼，生成所述訓練文本的預測聲學特征信息；

基于所述訓練風格編碼特征、所述目標訓練風格編碼特征、所述預測聲學特征信息和所述目標聲學特征信息，構建綜合損失函數(shù)；

若所述綜合損失函數(shù)不收斂，調整所述內容編碼器、所述風格編碼器、所述音色編碼器、所述風格提取器和所述解碼器的參數(shù)，使得所述綜合損失函數(shù)趨于收斂。

6.根據(jù)權利要求5所述的方法，其中，基于所述訓練風格編碼特征、所述目標訓練風格編碼特征、所述預測聲學特征信息和所述目標聲學特征信息，構建綜合損失函數(shù)，包括：

基于所述訓練風格編碼特征和所述目標訓練風格編碼特征，構建風格損失函數(shù)；

基于所述預測聲學特征信息和所述目標聲學特征信息，構建重構損失函數(shù)；

基于所述風格損失函數(shù)和所述重構損失函數(shù)，生成所述綜合損失函數(shù)。

7.一種語音合成裝置，其中所述裝置包括：

獲取模塊，用于獲取待合成語音的風格信息和音色信息、以及待處理文本的內容信息；

生成模塊，用于采用預先訓練的語音合成模型，基于所述風格信息、所述音色信息以及所述待處理文本的內容信息，生成所述待處理文本的聲學特征信息；

合成模塊，用于基于所述待處理文本的聲學特征信息，合成所述待處理文本的語音。