[發(fā)明專利]一種語音處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110478784.9
• 申請(qǐng)日: 2021-04-30
• 公開（公告）號(hào): CN113314101A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計(jì)）人: 張穎;楊鵬;李楠;王芮;張晨;鄭羲光;車浩
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L15/16;G10L21/007
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;賈允

本公開關(guān)于一種語音處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，所述方法包括：獲取原始對(duì)象的第一語音信息；基于所述第一語音信息生成所述原始對(duì)象的聲學(xué)特征信息；將所述原始對(duì)象的聲學(xué)特征信息輸入到語音識(shí)別模型進(jìn)行音素特征識(shí)別，得到所述第一語音信息中包含的音素信息；將所述音素信息輸入到語音轉(zhuǎn)換模型進(jìn)行聲學(xué)特征轉(zhuǎn)換，得到目標(biāo)對(duì)象的聲學(xué)特征信息；基于所述目標(biāo)對(duì)象的聲學(xué)特征信息生成所述目標(biāo)對(duì)象的第二語音信息；其中，所述原始對(duì)象與所述目標(biāo)對(duì)象不同，所述第一語音信息與所述第二語音信息的語音內(nèi)容相同。本公開能夠解決相關(guān)技術(shù)中轉(zhuǎn)換語音自然度差以及語音轉(zhuǎn)換結(jié)果不準(zhǔn)確的問題。

技術(shù)領(lǐng)域

本公開涉及深度學(xué)習(xí)技術(shù)領(lǐng)域，尤其涉及一種語音處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

語音轉(zhuǎn)換是指在保留語言內(nèi)容不變的情況下，將一句話的音色從原始說話人轉(zhuǎn)為目標(biāo)說話人，語音轉(zhuǎn)換技術(shù)在電影配音、短視頻變聲、虛擬人等方面發(fā)揮著重要作用。

相關(guān)技術(shù)中，一般采用基于數(shù)字信號(hào)處理的語音轉(zhuǎn)換方法，基頻和共振峰是語音信號(hào)中的兩個(gè)重要特征，通過直接對(duì)原始語音中基頻和共振峰的修改，使其和目標(biāo)說話人特征分布盡量一致，從而達(dá)到改變語音信號(hào)中音色的目的；但是通過修改基頻和共振峰所合成的轉(zhuǎn)換語音自然度差，并且不同原始說話人的基頻和共振峰千差萬別，即使目標(biāo)說話人確定，通過數(shù)字信號(hào)處理后的轉(zhuǎn)換語音音色也會(huì)有較大的差異；另外在修改基頻時(shí)會(huì)產(chǎn)生語音混疊，引入噪聲，從而使得語音轉(zhuǎn)換結(jié)果不準(zhǔn)確。

發(fā)明內(nèi)容

本公開提供一種語音處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中轉(zhuǎn)換語音自然度差以及語音轉(zhuǎn)換結(jié)果不準(zhǔn)確的問題。本公開的技術(shù)方案如下：

根據(jù)本公開實(shí)施例的第一方面，提供一種語音處理方法，包括：

獲取原始對(duì)象的第一語音信息；

基于所述第一語音信息生成所述原始對(duì)象的聲學(xué)特征信息；

將所述原始對(duì)象的聲學(xué)特征信息輸入到語音識(shí)別模型進(jìn)行音素特征識(shí)別，得到所述第一語音信息中包含的音素信息；

將所述音素信息輸入到語音轉(zhuǎn)換模型進(jìn)行聲學(xué)特征轉(zhuǎn)換，得到目標(biāo)對(duì)象的聲學(xué)特征信息；

基于所述目標(biāo)對(duì)象的聲學(xué)特征信息生成所述目標(biāo)對(duì)象的第二語音信息；

其中，所述原始對(duì)象與所述目標(biāo)對(duì)象不同，所述第一語音信息與所述第二語音信息的語音內(nèi)容相同。

在一示例性實(shí)施例中，所述方法還包括：

獲取第一神經(jīng)網(wǎng)絡(luò)模型；所述第一神經(jīng)網(wǎng)絡(luò)模型包括音素識(shí)別模塊和分類模塊；

獲取多項(xiàng)樣本聲學(xué)特征信息，以及與每項(xiàng)樣本聲學(xué)特征信息對(duì)應(yīng)的音素特征向量；

將每項(xiàng)樣本聲學(xué)特征信息輸入到所述音素識(shí)別模塊進(jìn)行音素識(shí)別，得到第一音素特征信息；

將所述第一音素特征信息輸入到所述分類模塊進(jìn)行音素分類，得到音素分類概率向量；

根據(jù)每項(xiàng)樣本聲學(xué)特征信息對(duì)應(yīng)的音素特征向量，以及每項(xiàng)樣本聲學(xué)特征信息對(duì)應(yīng)的所述音素分類概率向量，確定音素信息損失；

基于所述音素信息損失對(duì)所述第一神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型；

基于所述訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型生成所述語音識(shí)別模型。

在一示例性實(shí)施例中，所述基于所述訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型生成所述語音識(shí)別模型包括：

基于所述訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型的音素識(shí)別模塊生成所述語音識(shí)別模型。