[發(fā)明專利]語(yǔ)音處理方法和裝置以及聲碼器和聲碼器的訓(xùn)練方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110794822.1
• 申請(qǐng)日: 2021-07-14
• 公開(kāi)（公告）號(hào): CN113470616A
• 公開(kāi)（公告）日: 2021-10-01
• 發(fā)明（設(shè)計(jì)）人: 張旭;張新;李楠;鄭羲光;張晨
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G10L13/04
• 分類號(hào): G10L13/04;G10L25/03;G10L25/30
• 代理公司: 北京銘碩知識(shí)產(chǎn)權(quán)代理有限公司 11286
• 代理人: 劉超;蘇銀虹

本公開(kāi)提供一種語(yǔ)音處理方法和裝置以及聲碼器和聲碼器的訓(xùn)練方法。所述語(yǔ)音處理方法可包括：對(duì)高采樣率梅爾譜特征進(jìn)行下采樣來(lái)獲取低采樣率梅爾譜特征；基于低采樣率梅爾譜特征利用聲碼器的第一神經(jīng)網(wǎng)絡(luò)來(lái)獲得低時(shí)域信號(hào)；通過(guò)對(duì)低時(shí)域信號(hào)進(jìn)行上采樣來(lái)獲得高時(shí)域信號(hào)；基于高采樣率梅爾譜特征和高時(shí)域信號(hào)利用聲碼器的第二神經(jīng)網(wǎng)絡(luò)來(lái)獲得與高采樣率梅爾譜特征相應(yīng)的語(yǔ)音信號(hào)。本公開(kāi)能夠在合成高采樣率語(yǔ)音信號(hào)的同時(shí)保持較低的運(yùn)算復(fù)雜度。

技術(shù)領(lǐng)域

本公開(kāi)涉及語(yǔ)音處理領(lǐng)域，尤其涉及一種用于語(yǔ)音合成的語(yǔ)音處理方法和語(yǔ)音處理裝置以及聲碼器和聲碼器的訓(xùn)練方法。

背景技術(shù)

聲碼器在使用深度學(xué)習(xí)進(jìn)行語(yǔ)音合成方面有著廣泛的應(yīng)用。現(xiàn)有的語(yǔ)音合成流程一般為對(duì)輸入的文字進(jìn)行頻域梅爾譜的預(yù)測(cè)，然后將梅爾譜轉(zhuǎn)換為時(shí)域的采樣點(diǎn)。通常，采用格里芬算法進(jìn)行由梅爾譜到采樣點(diǎn)的轉(zhuǎn)換，但是這種算法可能導(dǎo)致語(yǔ)音質(zhì)量較差，而采用深度學(xué)習(xí)方法轉(zhuǎn)換出的語(yǔ)音質(zhì)量較高。通常情況下，語(yǔ)音的有效采樣率越高，合成出的語(yǔ)音質(zhì)量就越高，聽(tīng)感就越好。但是高采樣率音頻的合成通常也伴隨著網(wǎng)絡(luò)參數(shù)量增大的問(wèn)題，使得運(yùn)行網(wǎng)絡(luò)的成本增加。

發(fā)明內(nèi)容

本公開(kāi)提供一種用于語(yǔ)音合成的語(yǔ)音處理方法和語(yǔ)音處理裝置以及聲碼器和聲碼器的訓(xùn)練方法，以至少解決上述提及的問(wèn)題。

根據(jù)本公開(kāi)實(shí)施例的第一方面，提供一種語(yǔ)音處理方法，所述語(yǔ)音處理方法可包括以下步驟：對(duì)高采樣率梅爾譜特征進(jìn)行下采樣來(lái)獲取低采樣率梅爾譜特征；基于低采樣率梅爾譜特征利用聲碼器的第一神經(jīng)網(wǎng)絡(luò)來(lái)獲得低時(shí)域信號(hào)；通過(guò)對(duì)低時(shí)域信號(hào)進(jìn)行上采樣來(lái)獲得高時(shí)域信號(hào)；基于高采樣率梅爾譜特征和高時(shí)域信號(hào)利用聲碼器的第二神經(jīng)網(wǎng)絡(luò)來(lái)獲得與高采樣率梅爾譜特征相應(yīng)的語(yǔ)音信號(hào)。

可選地，基于低采樣率梅爾譜特征利用聲碼器的第一神經(jīng)網(wǎng)絡(luò)來(lái)獲得低時(shí)域信號(hào)的步驟可包括：針對(duì)低時(shí)域信號(hào)的每個(gè)采樣點(diǎn)執(zhí)行以下操作：基于與低采樣率梅爾譜特征相應(yīng)的幅度譜計(jì)算低時(shí)域信號(hào)的當(dāng)前采樣點(diǎn)的第一估計(jì)值；基于低采樣率梅爾譜特征經(jīng)由第一神經(jīng)網(wǎng)絡(luò)的第一編碼器的運(yùn)算來(lái)獲得第一嵌入向量；基于第一嵌入向量、第一估計(jì)值和針對(duì)第一神經(jīng)網(wǎng)絡(luò)的第一解碼器在前一時(shí)刻的采樣點(diǎn)誤差經(jīng)由第一解碼器的運(yùn)算來(lái)獲得低時(shí)域信號(hào)的當(dāng)前采樣點(diǎn)。

可選地，基于高采樣率梅爾譜特征和高時(shí)域信號(hào)利用聲碼器的第二神經(jīng)網(wǎng)絡(luò)來(lái)獲得與高采樣率梅爾譜特征相應(yīng)的語(yǔ)音信號(hào)的步驟可包括：針對(duì)所述語(yǔ)音信號(hào)的每個(gè)采樣點(diǎn)執(zhí)行以下操作：基于與高采樣率梅爾譜特征相應(yīng)的幅度譜計(jì)算所述語(yǔ)音信號(hào)的當(dāng)前采樣點(diǎn)的第二估計(jì)值；基于高采樣率梅爾譜特征經(jīng)由第二神經(jīng)網(wǎng)絡(luò)的第二編碼器的運(yùn)算來(lái)獲得第二嵌入向量；基于第二嵌入向量、高時(shí)域信號(hào)的當(dāng)前采樣點(diǎn)、第二估計(jì)值、針對(duì)高時(shí)域信號(hào)的前一時(shí)刻的采樣點(diǎn)誤差、針對(duì)第二神經(jīng)網(wǎng)絡(luò)的第二解碼器在前一時(shí)刻的采樣點(diǎn)誤差和第二解碼器在前一時(shí)刻輸出的采樣點(diǎn)經(jīng)由第二解碼器的運(yùn)算來(lái)獲得所述語(yǔ)音信號(hào)的當(dāng)前采樣點(diǎn)。

可選地，高采樣率梅爾譜特征可以是通過(guò)對(duì)輸入的文字執(zhí)行梅爾譜預(yù)測(cè)得到的。

根據(jù)本公開(kāi)實(shí)施例的第二方面，提供一種聲碼器的訓(xùn)練方法，所述訓(xùn)練方法可包括以下步驟：獲取樣本集，其中，所述樣本集包括高采樣率時(shí)域信號(hào)、低采樣率時(shí)域信號(hào)、低頻域特征和高頻域特征，其中，所述低采樣率時(shí)域信號(hào)是對(duì)所述高采樣率時(shí)域信號(hào)進(jìn)行下采樣獲得的，低頻域特征是所述低采樣率時(shí)域信號(hào)的梅爾譜特征，高頻域特征是所述高采樣率時(shí)域信號(hào)的梅爾譜特征；基于低頻域特征利用聲碼器的第一神經(jīng)網(wǎng)絡(luò)來(lái)獲得低時(shí)域信號(hào)；通過(guò)對(duì)低時(shí)域信號(hào)進(jìn)行上采樣來(lái)獲得高時(shí)域信號(hào)；基于高頻域特征和高時(shí)域信號(hào)利用聲碼器的第二神經(jīng)網(wǎng)絡(luò)來(lái)獲得合成信號(hào)；利用低時(shí)域信號(hào)、所述低采樣率時(shí)域信號(hào)、所述合成信號(hào)和所述高采樣率時(shí)域信號(hào)來(lái)構(gòu)建損失函數(shù)；基于由所述損失函數(shù)計(jì)算的損失來(lái)訓(xùn)練所述聲碼器的參數(shù)。