[發明專利]一種多語種的語音合成方法、裝置和系統

在審

• 申請號: 202110052188.4
• 申請日: 2021-01-15
• 公開（公告）號: CN113160792A
• 公開（公告）日: 2021-07-23
• 發明（設計）人: 李心廣;梁楚鏵;李蘇梅;楊遠城;陳帥;馬姍嫻;劉聰聰;張浩;龍曉嵐
• 申請（專利權）人: 廣東外語外貿大學
• 主分類號: G10L13/027
• 分類號: G10L13/027;G10L13/10;G10L25/30;G06F40/279
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 麥小嬋;郝傳鑫

本發明公開了一種多語種的語音合成方法、裝置和系統，獲取待處理文本；對所述待處理文本中的每一字符進行語種識別，并存入對應的預設的字符庫中；采用預先訓練完成的韻律結構預測模型，對所述語種字符庫中的每一字符串進行韻律結構劃分；根據每一所述字符串及其對應的韻律結構，在預設的語音拼接單元庫中獲取對應的目標語音拼接單元；按識別順序確定相鄰的目標語音拼接單元，計算相鄰的目標語音拼接單元之間的最佳拼接點；并根據所述最佳拼接點對相鄰的目標拼接單元進行拼接，以得到合成語音。采用本發明實施例，其能實現對文本段落中的不同語種的語音合成，并有效保證合成語音的自然度和流暢度，滿足用戶需求。

技術領域

本發明涉及語音合成技術領域，尤其涉及一種多語種的語音合成方法、裝置 和系統。

背景技術

隨著科學技術的迅猛發展，語音合成技術正在不斷發展并走向市場，以適應 社會的需求。目前市面上，大部分的語音合成系統一次只能合成一種語種。當用 戶需要轉換為語音的文本段落同時具有中英雙語種時，用戶不得不多次來回選擇 不同的語種識別系統進行識別，再手動利用音頻剪輯軟件拼接，既麻煩，效果又 不好。

因此，多語種的語音合成系統應運而生。然而，在實施本發明過程中，發明 人發現現有技術至少存在如下問題：現有的多語種語音合成系統往往具備不同文 本語種識別能力，但是在進行語音合成的階段，系統只能選擇一種語種的合成規 則來合成語音，使得文本中不同語種部分對應合成的語音出現失真、不自然乃至 表現為噪聲的情況。

發明內容

本發明實施例的目的是提供一種多語種的語音合成方法、裝置和系統，其能 實現對文本段落中的不同語種的語音合成，并有效保證合成語音的自然度和流暢 度，滿足用戶需求。

為實現上述目的，本發明實施例提供了一種多語種的語音合成方法，包括：

獲取待處理文本；對所述待處理文本中的每一字符進行語種識別，并存入對 應的預設的字符庫中；其中，所述待處理文本中包含至少兩種語種；所述預設的 字符庫包括特殊字符庫和至少兩個語種對應的語種字符庫；在所述語種字符庫中 存儲的所述字符以句子為單位形成對應的字符串；

采用預先訓練完成的韻律結構預測模型，對所述語種字符庫中的每一字符串 進行韻律結構劃分；

根據每一所述字符串及其對應的韻律結構，在預設的語音拼接單元庫中獲取 對應的目標語音拼接單元；

按識別順序確定相鄰的目標語音拼接單元，計算相鄰的目標語音拼接單元之 間的最佳拼接點；并根據所述最佳拼接點對相鄰的目標拼接單元進行拼接，以得 到合成語音。

作為上述方案的改進，當所述待處理文本中包括漢語語種時，所述語種字符 庫包括漢字字符庫；

則所述采用預先訓練完成的韻律結構預測模型，對所述語種字符庫中的每一 字符串進行韻律結構劃分，包括：

對所述漢字字符庫中的字符串采用預設的分詞神經網絡模型進行單詞切分， 根據切分后的詞組確定其拼音和聲調，以得到所述字符串對應的以拼音和聲調表 示的拼音串；

根據每一所述字符串對應的拼音串，采用預設的韻律結構預測模型，對每一 所述字符串進行韻律結構劃分；其中，所述韻律結構至少包括韻律詞、韻律短語 和語調短語三個層級。

作為上述方案的改進，所述預設的韻律結構預測模型的訓練方法，具體包括：

獲取訓練語料庫；其中，所述訓練語料庫中包括若干個漢語句子及其對應的 韻律結構劃分結果；

根據所述訓練語料庫對RNN循環神經網絡進行訓練，得到訓練后的循環神 經網絡模型；

采用分類回歸樹算法，對所述循環神經網絡模型進行線性融合訓練，得到訓 練完成的循環神經網絡模型，作為所述韻律結構預測模型。