[發明專利]一種語音合成方法、裝置以及計算機可讀存儲介質

有效

• 申請號: 202011391440.6
• 申請日: 2020-12-02
• 公開（公告）號: CN112509553B
• 公開（公告）日: 2023-08-01
• 發明（設計）人: 江明奇;陳云琳;殷昊;楊喜鵬;張旭
• 申請（專利權）人: 問問智能信息科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/08;G10L19/18;G10L25/30
• 代理公司: 北京樂知新創知識產權代理事務所(普通合伙) 11734
• 代理人: 江宇

1.一種語音合成方法，其特征在于，所述方法包括：

獲取文本信息，并將所獲取的文本信息輸入到基于端到端神經網絡的聲學模型中進行編碼，編碼生成表征用于概括所述文本信息的第一內容向量；

接收針對所述文本信息中每個子文本信息的語音時長信息；

根據所接收的語音時長信息，調整所述第一內容向量中針對所述子文本信息的語音時長，生成第二內容向量；

根據所生成的第二內容向量，生成對應于所述文本信息的語音信息；

其中，將所述第二內容向量輸入于所述聲學模型中的解碼層進行解碼，生成對應的語音譜參數；

將所生成的語音譜參數作為基于神經網絡的聲碼器模型的輸入，生成對應于所述文本信息的語音信息；

其中，通過注意力機制選擇性的將所述第二內容向量輸入于所述聲學模型進行解碼。

2.根據權利要求1所述的方法，其特征在于，所述接收針對所述文本信息中每個子文本信息的語音時長信息，包括：

將所述文本信息作為已預訓練好的時長模型的輸入，輸出得到對應于所述子文本信息的語音時長信息；

或者，從信息庫中獲取對應于所述子文本信息的語音時長信息。

3.根據權利要求2所述的方法，其特征在于，所述時長模型為基于端到端的神經網絡模型：

相應的，所述將所述文本信息作為已預訓練好的時長模型的輸入，輸出得到對應于所述子文本信息的語音時長信息，包括：

將所述文本信息輸入于所述時長模型中的編碼層進行編碼處理，輸出得到表征用于概括所述文本信息的第三內容向量；

將所述第三內容向量輸入于所述時長模型中的解碼層進行解碼處理，輸出得到對應于所述子文本信息的語音時長信息。

4.根據權利要求1所述的方法，其特征在于，所述根據所接收的語音時長信息，調整所述第一內容向量中針對所述子文本信息的語音時長，生成第二內容向量，包括：

根據所接收的語音時長信息，將所述第一內容向量中對應的子文本信息進行重復增加/刪除語音幀數處理，生成第二內容向量。

5.根據權利要求1所述的方法，其特征在于，所述聲碼器模型采用卷積神經網絡，并且根據語音采樣點建模。

6.一種語音合成裝置，其特征在于，所述裝置包括：

文本獲取模塊，用于獲取文本信息，并將所獲取的文本信息輸入到基于端到端神經網絡的聲學模型中進行編碼，編碼生成表征用于概括所述文本信息的第一內容向量；

時長獲取模塊，用于接收針對所述文本信息中每個子文本信息的語音時長信息；

時長調整模塊，用于根據所接收的語音時長信息，調整所述第一內容向量中針對所述子文本信息的語音時長，生成第二內容向量；

語音合成模塊，用于根據所生成的第二內容向量，生成對應于所述文本信息的語音信息；

所述語音合成模塊還用于，將所述第二內容向量輸入于所述聲學模型中的解碼層進行解碼，生成對應的語音譜參數；將所生成的語音譜參數作為基于神經網絡的聲碼器模型的輸入，生成對應于所述文本信息的語音信息；其中，通過注意力機制選擇性的將所述第二內容向量輸入于所述聲學模型進行解碼。

7.根據權利要求6所述的裝置，其特征在于，所述時長獲取模塊具體用于：

將所述文本信息作為已預訓練好的時長模型的輸入，輸出得到對應于所述子文本信息的語音時長信息；

或者，從信息庫中獲取對應于所述子文本信息的語音時長信息。

8.一種計算機可讀存儲介質，其特征在于，所述存儲介質包括一組計算機可執行指令，當所述指令被執行時用于執行權利要求1-5任一項所述的語音合成方法。