[發(fā)明專(zhuān)利]用于生成音頻的方法、裝置、設(shè)備和介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202011272828.4
• 申請(qǐng)日: 2020-11-13
• 公開(kāi)（公告）號(hào): CN112382273A
• 公開(kāi)（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 湯本來(lái);史璇
• 申請(qǐng)（專(zhuān)利權(quán)）人: 北京有竹居網(wǎng)絡(luò)技術(shù)有限公司
• 主分類(lèi)號(hào): G10L13/033
• 分類(lèi)號(hào): G10L13/033;G10L13/04;G10L19/00;G10L25/03;G10L25/27
• 代理公司: 北京海智友知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11455
• 代理人: 吳京順

本公開(kāi)的實(shí)施例公開(kāi)了用于生成音頻的方法、裝置、設(shè)備和介質(zhì)。該用于生成音頻的方法的一具體實(shí)施方式包括：獲取源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息；基于源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息，生成目標(biāo)語(yǔ)音音頻，其中，目標(biāo)年齡段標(biāo)簽信息用于指示目標(biāo)語(yǔ)音音頻所屬的年齡段信息。該實(shí)施方式可以將源說(shuō)話人的聲學(xué)特征信息轉(zhuǎn)換為具有目標(biāo)年齡段標(biāo)簽信息的語(yǔ)音音頻，由此實(shí)現(xiàn)了語(yǔ)音音頻所屬的年齡段切換，豐富了語(yǔ)音音頻的生成方式。

技術(shù)領(lǐng)域

本公開(kāi)的實(shí)施例涉及計(jì)算機(jī)技術(shù)領(lǐng)域，具體涉及用于生成音頻的方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

近年來(lái)，由于短視頻和數(shù)字娛樂(lè)媒體的迅猛發(fā)展，將源說(shuō)話人語(yǔ)音轉(zhuǎn)變?yōu)椴煌挲g段的語(yǔ)音得到了廣泛關(guān)注和研究。

對(duì)源說(shuō)話人的語(yǔ)音進(jìn)行切換的方式主要是利用頻譜搬移，將語(yǔ)音信號(hào)轉(zhuǎn)換為頻域信號(hào)，然后在頻域上，將信號(hào)頻譜整體搬移到高頻域范圍，最后再將其變換回時(shí)域，最終完成變聲目的。

發(fā)明內(nèi)容

本公開(kāi)提出了用于生成音頻的方法、裝置、設(shè)備和介質(zhì)。

第一方面，本公開(kāi)的實(shí)施例提供了一種用于生成音頻的方法，該方法包括：獲取源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息；基于源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息，生成目標(biāo)語(yǔ)音音頻，其中，目標(biāo)年齡段標(biāo)簽信息用于指示目標(biāo)語(yǔ)音音頻所屬的年齡段信息。

在一些實(shí)施例中，基于源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息，生成目標(biāo)語(yǔ)音音頻，包括：將源說(shuō)話人的聲學(xué)特征信息輸入預(yù)訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)中生成網(wǎng)絡(luò)中的編碼器，得到編碼后的聲學(xué)特征信息；將編碼后的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息輸入預(yù)訓(xùn)練的生成對(duì)抗網(wǎng)絡(luò)中生成網(wǎng)絡(luò)中的解碼器，得到目標(biāo)聲學(xué)特征信息；將目標(biāo)聲學(xué)特征信息輸入聲碼器，得到目標(biāo)語(yǔ)音音頻。

在一些實(shí)施例中，編碼器和解碼器通過(guò)以下方式訓(xùn)練得到：獲取不同用戶(hù)提供的聲學(xué)特征信息樣本；將聲學(xué)特征信息樣本輸入待訓(xùn)練的編碼器，得到編碼后的聲學(xué)特征信息樣本；將編碼后的聲學(xué)特征信息樣本輸入解碼器，得到預(yù)測(cè)的聲學(xué)特征信息；基于預(yù)測(cè)的聲學(xué)特征信息、與輸入的聲學(xué)特征信息樣本相對(duì)應(yīng)的具有期望的年齡段標(biāo)簽信息的聲學(xué)特征信息和生成對(duì)抗網(wǎng)絡(luò)中的判別網(wǎng)絡(luò)，對(duì)生成網(wǎng)絡(luò)的編碼器和解碼器進(jìn)行訓(xùn)練，得到訓(xùn)練完成的編碼器和解碼器。

在一些實(shí)施例中，基于預(yù)測(cè)的聲學(xué)特征信息、與輸入的聲學(xué)特征信息樣本相對(duì)應(yīng)的具有期望的年齡段標(biāo)簽信息的聲學(xué)特征信息和生成對(duì)抗網(wǎng)絡(luò)中的判別網(wǎng)絡(luò)，對(duì)生成網(wǎng)絡(luò)的編碼器和解碼器進(jìn)行訓(xùn)練，得到訓(xùn)練完成的編碼器和解碼器，包括：將預(yù)測(cè)的聲學(xué)特征信息輸入年齡段信息分類(lèi)器，得到分類(lèi)后的聲學(xué)特征信息；將分類(lèi)后的聲學(xué)特征信息和與輸入的聲學(xué)特征信息樣本相對(duì)應(yīng)的具有期望的年齡段標(biāo)簽信息的聲學(xué)特征信息輸入判別網(wǎng)絡(luò)以對(duì)生成網(wǎng)絡(luò)的編碼器和解碼器進(jìn)行訓(xùn)練，得到訓(xùn)練完成的編碼器和解碼器。

在一些實(shí)施例中，基于源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息，生成目標(biāo)語(yǔ)音音頻，包括：基于源說(shuō)話人的聲學(xué)特征信息、源說(shuō)話人的年齡段標(biāo)簽信息和目標(biāo)年齡段標(biāo)簽信息，生成目標(biāo)語(yǔ)音音頻，其中，源說(shuō)話人的年齡段標(biāo)簽信息用于指示源說(shuō)話人的聲學(xué)特征信息所屬的年齡段信息。

在一些實(shí)施例中，不同用戶(hù)的性別與源說(shuō)話人的性別相同。

在一些實(shí)施例中，聲學(xué)特征信息為梅爾頻譜信息。

第二方面，本公開(kāi)的實(shí)施例提供了一種用于生成音頻的裝置，該裝置包括：獲取單元，被配置成獲取源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息；生成單元，被配置成基于所述源說(shuō)話人的聲學(xué)特征信息和目標(biāo)年齡段標(biāo)簽信息，生成目標(biāo)語(yǔ)音音頻，其中，目標(biāo)年齡段標(biāo)簽信息用于指示目標(biāo)語(yǔ)音音頻所屬的年齡段信息。

第三方面，本公開(kāi)的實(shí)施例提供了一種用于生成音頻的電子設(shè)備，包括：一個(gè)或多個(gè)處理器；存儲(chǔ)裝置，其上存儲(chǔ)有一個(gè)或多個(gè)程序，當(dāng)上述一個(gè)或多個(gè)程序被上述一個(gè)或多個(gè)處理器執(zhí)行，使得該一個(gè)或多個(gè)處理器實(shí)現(xiàn)如上述用于生成音頻的方法中任一實(shí)施例的方法。