[發(fā)明專(zhuān)利]語(yǔ)音合成方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010006604.2
• 申請(qǐng)日: 2020-01-03
• 公開(kāi)（公告）號(hào): CN110797002B
• 公開(kāi)（公告）日: 2020-05-19
• 發(fā)明（設(shè)計(jì)）人: 顧王一
• 申請(qǐng)（專(zhuān)利權(quán)）人: 同盾控股有限公司
• 主分類(lèi)號(hào): G10L13/02
• 分類(lèi)號(hào): G10L13/02;G10L25/30
• 代理公司: 杭州創(chuàng)智卓英知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 33324
• 代理人: 鄭思思

1.一種語(yǔ)音合成方法，其特征在于，包括以下步驟：

獲取文本數(shù)據(jù)，根據(jù)所述文本數(shù)據(jù)得到線性頻譜目標(biāo)值和相位目標(biāo)值，將所述文本數(shù)據(jù)轉(zhuǎn)化為文本向量；

將所述文本向量輸入神經(jīng)網(wǎng)絡(luò)模型得到線性頻譜預(yù)測(cè)值和相位預(yù)測(cè)值，根據(jù)所述線性頻譜目標(biāo)值、所述線性頻譜預(yù)測(cè)值、所述相位目標(biāo)值和所述相位預(yù)測(cè)值計(jì)算整體損失，根據(jù)所述整體損失訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型，通過(guò)訓(xùn)練完成的所述神經(jīng)網(wǎng)絡(luò)模型得到線性頻譜和初始相位；

將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進(jìn)行迭代訓(xùn)練，得到所述文本數(shù)據(jù)對(duì)應(yīng)的音頻信號(hào)；

其中，將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進(jìn)行迭代訓(xùn)練，得到所述文本數(shù)據(jù)對(duì)應(yīng)的音頻信號(hào)，包括：將所述線性頻譜和所述初始相位進(jìn)行逆短時(shí)傅里葉變換得到音頻信號(hào)，通過(guò)Griffin-Lim聲碼器的迭代訓(xùn)練，得到連接各音頻幀的連合相位，根據(jù)所述連合相位恢復(fù)并輸出所述文本數(shù)據(jù)對(duì)應(yīng)的音頻信號(hào)。

2.如權(quán)利要求1所述的一種語(yǔ)音合成方法，其特征在于，根據(jù)所述文本數(shù)據(jù)得到線性頻譜目標(biāo)值和相位目標(biāo)值，將所述文本數(shù)據(jù)轉(zhuǎn)化為文本向量，包括：

獲取與所述文本數(shù)據(jù)匹配的音頻數(shù)據(jù)；

將所述音頻數(shù)據(jù)進(jìn)行短時(shí)傅里葉變換得到所述線性頻譜目標(biāo)值和所述相位目標(biāo)值；

將所述文本數(shù)據(jù)進(jìn)行分詞，得到所述文本數(shù)據(jù)的分詞結(jié)果，對(duì)所述分詞結(jié)果進(jìn)行獨(dú)熱編碼得到文本向量。

3.如權(quán)利要求1所述的一種語(yǔ)音合成方法，其特征在于：所述神經(jīng)網(wǎng)絡(luò)模型為T(mén)acotron模型，將所述文本向量輸入神經(jīng)網(wǎng)絡(luò)模型得到線性頻譜預(yù)測(cè)值和相位預(yù)測(cè)值，包括：

通過(guò)所述Tacotron模型對(duì)所述文本向量進(jìn)行計(jì)算，得到維度相同的線性頻譜預(yù)測(cè)值和相位預(yù)測(cè)值。

4.如權(quán)利要求3所述的一種語(yǔ)音合成方法，其特征在于：根據(jù)所述線性頻譜目標(biāo)值、所述線性頻譜預(yù)測(cè)值、所述相位目標(biāo)值和所述相位預(yù)測(cè)值計(jì)算整體損失，包括：

將所述線性頻譜目標(biāo)值和所述線性頻譜預(yù)測(cè)值輸入線性頻譜損失函數(shù)進(jìn)行計(jì)算，得到線性頻譜損失；

將所述相位目標(biāo)值和所述相位預(yù)測(cè)值輸入相位損失函數(shù)進(jìn)行計(jì)算，得到相位損失；

將所述相位損失和所述線性頻譜損失按照預(yù)設(shè)的權(quán)重相加，得到整體損失。

5.如權(quán)利要求4所述的一種語(yǔ)音合成方法，其特征在于：根據(jù)所述整體損失訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型，包括：

當(dāng)所述整體損失大于或等于預(yù)設(shè)閾值時(shí)，基于所述整體損失訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型，并得到當(dāng)前訓(xùn)練模型輸出的線性頻譜預(yù)測(cè)值和相位預(yù)測(cè)值，直到所述整體損失小于所述預(yù)設(shè)閾值時(shí)，得到訓(xùn)練完成的所述神經(jīng)網(wǎng)絡(luò)模型。

6.如權(quán)利要求1-5任一項(xiàng)所述的一種語(yǔ)音合成方法，其特征在于：所述線性頻譜和所述初始相位分別通過(guò)通道數(shù)量相同的頻譜通道和相位通道輸入至所述Griffin-Lim聲碼器。

7.一種語(yǔ)音合成裝置，其特征在于，其包括：

數(shù)據(jù)處理模塊，用于獲取文本數(shù)據(jù)，根據(jù)所述文本數(shù)據(jù)得到線性頻譜目標(biāo)值和相位目標(biāo)值，將所述文本數(shù)據(jù)轉(zhuǎn)化為文本向量；

模型訓(xùn)練模塊，用于將所述文本向量輸入神經(jīng)網(wǎng)絡(luò)模型得到線性頻譜預(yù)測(cè)值和相位預(yù)測(cè)值，根據(jù)所述線性頻譜目標(biāo)值、所述線性頻譜預(yù)測(cè)值、所述相位目標(biāo)值和所述相位預(yù)測(cè)值計(jì)算整體損失，根據(jù)所述整體損失訓(xùn)練所述神經(jīng)網(wǎng)絡(luò)模型，通過(guò)訓(xùn)練完成的所述神經(jīng)網(wǎng)絡(luò)模型得到線性頻譜和初始相位；

音頻輸出模塊，用于將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進(jìn)行迭代訓(xùn)練，得到所述文本數(shù)據(jù)對(duì)應(yīng)的音頻信號(hào)；其中，將所述線性頻譜和所述初始相位輸入至Griffin-Lim聲碼器進(jìn)行迭代訓(xùn)練，得到所述文本數(shù)據(jù)對(duì)應(yīng)的音頻信號(hào)，包括：將所述線性頻譜和所述初始相位進(jìn)行逆短時(shí)傅里葉變換得到音頻信號(hào)，通過(guò)Griffin-Lim聲碼器的迭代訓(xùn)練，得到連接各音頻幀的連合相位，根據(jù)所述連合相位恢復(fù)并輸出所述文本數(shù)據(jù)對(duì)應(yīng)的音頻信號(hào)。