[發(fā)明專利]一種語(yǔ)音合成方法、裝置以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011391440.6
• 申請(qǐng)日: 2020-12-02
• 公開（公告）號(hào): CN112509553B
• 公開（公告）日: 2023-08-01
• 發(fā)明（設(shè)計(jì)）人: 江明奇;陳云琳;殷昊;楊喜鵬;張旭
• 申請(qǐng)（專利權(quán)）人: 問(wèn)問(wèn)智能信息科技有限公司
• 主分類號(hào): G10L13/02
• 分類號(hào): G10L13/02;G10L13/08;G10L19/18;G10L25/30
• 代理公司: 北京樂(lè)知新創(chuàng)知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11734
• 代理人: 江宇

本發(fā)明公開了一種語(yǔ)音合成方法、裝置以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，包括：獲取文本信息，并將所獲取的文本信息輸入到基于端到端神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型中進(jìn)行編碼，編碼生成表征用于概括所述文本信息的第一內(nèi)容向量；接收針對(duì)所述文本信息中每個(gè)子文本信息的語(yǔ)音時(shí)長(zhǎng)信息；根據(jù)所接收的語(yǔ)音時(shí)長(zhǎng)信息，調(diào)整所述第一內(nèi)容向量中針對(duì)所述子文本信息的語(yǔ)音時(shí)長(zhǎng)，生成第二內(nèi)容向量；根據(jù)所生成的第二內(nèi)容向量，生成對(duì)應(yīng)于所述文本信息的語(yǔ)音信息。由此，在語(yǔ)音合成過(guò)程中，通過(guò)控制第一內(nèi)容向量中的文本時(shí)長(zhǎng)，使得所生成的聲音在音質(zhì)未下降的基礎(chǔ)上變得富有情感并且連貫舒暢。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)音合成領(lǐng)域，尤其涉及一種語(yǔ)音合成方法、裝置以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

在語(yǔ)音合成是指計(jì)算機(jī)自動(dòng)根據(jù)文本生成相應(yīng)語(yǔ)音的技術(shù)，傳統(tǒng)的語(yǔ)音合成技術(shù)分為參數(shù)語(yǔ)音合成和拼接語(yǔ)音合成。

參數(shù)語(yǔ)音合成所生成的聲音，音質(zhì)不錯(cuò)，缺點(diǎn)在于聲音平淡、缺乏情感，并且含有一些背景音。

拼接語(yǔ)音合成所生成的聲音，音質(zhì)很高，缺點(diǎn)在于需要大量的錄制聲音，以滿足不同的場(chǎng)景需求，另外，拼接算法常常會(huì)有拼接不連貫的問(wèn)題。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種語(yǔ)音合成方法、裝置以及計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，具有生成富有情感且音質(zhì)高語(yǔ)音的技術(shù)效果。

本發(fā)明一方面提供一種語(yǔ)音合成方法，所述方法包括：獲取文本信息，并將所獲取的文本信息輸入到基于端到端神經(jīng)網(wǎng)絡(luò)的聲學(xué)模型中進(jìn)行編碼，編碼生成表征用于概括所述文本信息的第一內(nèi)容向量；接收針對(duì)所述文本信息中每個(gè)子文本信息的語(yǔ)音時(shí)長(zhǎng)信息；根據(jù)所接收的語(yǔ)音時(shí)長(zhǎng)信息，調(diào)整所述第一內(nèi)容向量中針對(duì)所述子文本信息的語(yǔ)音時(shí)長(zhǎng)，生成第二內(nèi)容向量；根據(jù)所生成的第二內(nèi)容向量，生成對(duì)應(yīng)于所述文本信息的語(yǔ)音信息。

在一可實(shí)施方式中，所述接收針對(duì)所述文本信息中每個(gè)子文本信息的語(yǔ)音時(shí)長(zhǎng)信息，包括：將所述文本信息作為已預(yù)訓(xùn)練好的時(shí)長(zhǎng)模型的輸入，輸出得到對(duì)應(yīng)于所述子文本信息的語(yǔ)音時(shí)長(zhǎng)信息；或者，從信息庫(kù)中獲取對(duì)應(yīng)于所述子文本信息的語(yǔ)音時(shí)長(zhǎng)信息。

在一可實(shí)施方式中，所述時(shí)長(zhǎng)模型為基于端到端的神經(jīng)網(wǎng)絡(luò)模型；相應(yīng)的，所述將所述文本信息作為已預(yù)訓(xùn)練好的時(shí)長(zhǎng)模型的輸入，輸出得到對(duì)應(yīng)于所述子文本信息的語(yǔ)音時(shí)長(zhǎng)信息，包括：將所述文本信息輸入于所述時(shí)長(zhǎng)模型中的編碼層進(jìn)行編碼處理，輸出得到表征用于概括所述文本信息的第三內(nèi)容向量；將所述第三內(nèi)容向量輸入于所述時(shí)長(zhǎng)模型中的解碼層進(jìn)行解碼處理，輸出得到對(duì)應(yīng)于所述子文本信息的語(yǔ)音時(shí)長(zhǎng)信息。

在一可實(shí)施方式中，所述根據(jù)所接收的語(yǔ)音時(shí)長(zhǎng)信息，調(diào)整所述第一內(nèi)容向量中針對(duì)所述子文本信息的語(yǔ)音時(shí)長(zhǎng)，生成第二內(nèi)容向量，包括：根據(jù)所接收的語(yǔ)音時(shí)長(zhǎng)信息，將所述第一內(nèi)容向量中對(duì)應(yīng)的子文本信息進(jìn)行重復(fù)增加/刪除語(yǔ)音幀數(shù)處理，生成第二內(nèi)容向量。

在一可實(shí)施方式中，所述根據(jù)所生成的第二內(nèi)容向量，生成對(duì)應(yīng)于所述文本信息的語(yǔ)音信息，包括：將所述第二內(nèi)容向量輸入于所述聲學(xué)模型中的解碼層進(jìn)行解碼，生成對(duì)應(yīng)的語(yǔ)音譜參數(shù)；將所生成的語(yǔ)音譜參數(shù)作為基于神經(jīng)網(wǎng)絡(luò)的聲碼器模型的輸入，生成對(duì)應(yīng)于所述文本信息的語(yǔ)音信息。

在一可實(shí)施方式中，所述將所述第二內(nèi)容向量輸入于所述聲學(xué)模型中的解碼層進(jìn)行解碼，包括：通過(guò)注意力機(jī)制選擇性的將所述第二內(nèi)容向量輸入于所述聲學(xué)模型進(jìn)行解碼。

在一可實(shí)施方式中，所述聲碼器模型采用卷積神經(jīng)網(wǎng)絡(luò)，并且根據(jù)語(yǔ)音采樣點(diǎn)建模。

本發(fā)明另一方面提供一種語(yǔ)音合成裝置，所述裝置包括：