[發明專利]一種語音合成方法、裝置以及可讀存儲介質

有效

• 申請號: 202110267221.5
• 申請日: 2021-03-11
• 公開（公告）號: CN112687259B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 鄭藝斌;李新輝;盧鯉
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G10L13/027
• 分類號: G10L13/027
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 熊永強;杜維

本發明公開了一種語音合成方法、裝置以及可讀存儲介質，該方法包括：將文本輸入序列轉換為文本特征表示序列；將文本特征表示序列輸入包含N層編碼層的編碼器；N層編碼層中包括編碼層E_i以及編碼層E_i+1；編碼層E_i+1包括第一多頭自注意力網絡；獲取編碼層E_i輸出的第一注意力矩陣以及歷史文本編碼序列，根據第一注意力矩陣與第一多頭自注意力網絡之間的殘差連接以及歷史文本編碼序列，生成編碼層E_i+1的第二注意力矩陣；根據第二注意力矩陣以及歷史文本編碼序列生成編碼層E_i+1的目標文本編碼序列，基于目標文本編碼序列生成與文本輸入序列相匹配的合成語音數據。采用本申請，可以有效加速模型的收斂，提升合成語音的穩定性。

技術領域

本申請涉及互聯網技術領域，尤其涉及一種語音合成方法、裝置以及可讀存儲介質。

背景技術

近幾年來，隨著計算能力的大規模提升，深度學習技術得到了大規模的研究與運用，進一步推動了語音合成技術的發展。目前，基于神經網絡的端到端的文本到語音合成（Text-to-Speech，TTS）技術發展迅速，與傳統語音合成中的拼接法（concatenativesynthesis）和參數法（statistical parametric synthesis）相比，端到端的文本到語音合成技術生成的語音數據通常具有更好的聲音自然度，該技術的基本思想是采用基于注意力機制（attention mechanism）的編解碼框架（例如基于Transformer的語音合成聲學模型），直接從輸入的字符序列或者音素序列上預測對應的聲學特征序列，在學術界和工業界都獲得了較為廣泛的運用。

然而，由于這種方法本身具有自回歸生成的特性，生成聲學參數的速度慢。另外，注意力對齊不準也會導致合成語音不穩定，導致出現漏詞和重復詞的問題。現有的語音合成聲學模型雖然采用基于Transformer的前饋網絡對上述問題進行了一些優化，但該聲學模型僅僅對多個前饋網絡進行簡單的堆疊，當網絡堆疊的層數比較多時，容易造成梯度消失，從而影響模型的收斂以及最終合成的語音的穩定性。

發明內容

本申請實施例提供了一種語音合成方法、裝置以及可讀存儲介質，可以加速模型的收斂，且提升合成語音的穩定性。

本申請實施例一方面提供了一種語音合成方法，包括：

將文本輸入序列轉換為文本特征表示序列；

將文本特征表示序列輸入包含N層編碼層的編碼器；N層編碼層中包括編碼層E_i以及編碼層E_i+1，編碼層E_i+1為編碼層E_i的下一層編碼層，N為大于1的整數，i為正整數，且i小于N；編碼層E_i+1包括第一多頭自注意力網絡；

獲取編碼層E_i輸出的第一注意力矩陣以及歷史文本編碼序列，根據第一注意力矩陣與第一多頭自注意力網絡之間的殘差連接以及歷史文本編碼序列，生成編碼層E_i+1的第二注意力矩陣；

根據第二注意力矩陣以及歷史文本編碼序列生成編碼層E_i+1的目標文本編碼序列，基于目標文本編碼序列生成與文本輸入序列相匹配的合成語音數據。

本申請實施例一方面提供了一種語音合成方法，包括：

將文本樣本序列輸入初始殘差式注意力聲學模型，通過初始殘差式注意力聲學模型將文本樣本序列轉換為文本特征樣本序列；