[發明專利]英文語音的合成方法及系統、電子設備及存儲介質

在審

• 申請號: 202010534462.7
• 申請日: 2020-06-12
• 公開（公告）號: CN111710326A
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 周明康;羅超;吉聰睿;李巍;胡泓
• 申請（專利權）人: 攜程計算機技術（上海）有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/04
• 代理公司: 上海弼興律師事務所 31283
• 代理人: 薛琦;張冉

1.一種英文語音的合成方法，其特征在于，包括：

將目標英文文本轉換為對應的文本向量；

提取與目標句式對應的模板音頻的參數，并將所述參數轉換為對應的參數向量；其中，所述參數用于表征所述模板音頻的語調特征；

將所述文本向量與所述參數向量拼接后輸入聲學模型，預測得到對應的聲學特征；

將所述聲學特征轉換為可播放的音頻。

2.如權利要求1所述的合成方法，其特征在于，在將目標英文文本轉換為對應的文本向量的步驟之前，還包括：

對目標英文文本進行正則化處理；和/或，

將目標英文文本中的中文符號替換為對應的英文符號；和/或，

將目標英文文本中的數字轉換為對應場景下的英文單詞。

3.如權利要求1所述的合成方法，其特征在于，利用如下方法訓練所述聲學模型：

將英文文本轉換為對應的文本向量；

提取針對所述英文文本錄制的音頻的參數，并將所述參數轉換為對應的參數向量；

將所述文本向量與所述參數向量拼接后輸入聲學模型，預測得到對應的聲學特征；

根據所述文本向量與所述聲學特征的對齊效果調整所述聲學模型的參數，直至所述文本向量與所述聲學特征完全對齊。

4.如權利要求3所述的合成方法，其特征在于，所述聲學模型為自回歸網絡，其中，在訓練聲學模型階段，利用之前幀的真實聲學特征預測當前幀的聲學特征。

5.如權利要求1-4中任一項所述的合成方法，其特征在于，所述目標句式為陳述句、祈使句、疑問句或感嘆句；和/或，

所述參數包括基頻的均值、方差、最大值、最小值，以及能量的均值、方差和最大值；和/或，

所述聲學模型包括編碼單元和解碼單元，所述編碼單元包括2層CNN模型和2層雙向LSTM模型，所述解碼單元包括1層CNN模型和3層雙向LSTM模型；和/或，

所述聲學特征為梅爾譜特征。

6.一種英文語音的合成系統，其特征在于，包括：

文本處理模塊，用于將目標英文文本轉換為對應的文本向量；

特征提取模塊，用于提取與目標句式對應的模板音頻的參數，并將所述參數轉換為對應的參數向量；其中，所述參數用于表征所述模板音頻的語調特征；

預測模塊，用于將所述文本向量與所述參數向量拼接后輸入聲學模型，預測得到對應的聲學特征；

聲碼器，用于將所述聲學特征轉換為可播放的音頻。

7.如權利要求6所述的合成系統，其特征在于，所述文本處理模塊還用于對目標英文文本進行正則化處理；和/或，將目標英文文本中的中文符號替換為對應的英文符號；和/或，將目標英文文本中的數字轉換為對應場景下的英文單詞。

8.如權利要求6或7所述的合成系統，其特征在于，所述目標句式為陳述句、祈使句、疑問句或感嘆句；和/或，

所述參數包括基頻的均值、方差、最大值、最小值，以及能量的均值、方差和最大值；和/或，

所述聲學模型包括編碼單元和解碼單元，所述編碼單元包括2層CNN模型和2層雙向LSTM模型，所述解碼單元包括1層CNN模型和3層雙向LSTM模型；和/或，

所述聲學特征為梅爾譜特征。

9.一種電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1-5中任一項所述的英文語音的合成方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現如權利要求1-5中任一項所述的英文語音的合成方法。