[發(fā)明專利]一種語(yǔ)音處理方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110478784.9
• 申請(qǐng)日: 2021-04-30
• 公開(kāi)（公告）號(hào): CN113314101A
• 公開(kāi)（公告）日: 2021-08-27
• 發(fā)明（設(shè)計(jì)）人: 張穎;楊鵬;李楠;王芮;張晨;鄭羲光;車浩
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G10L15/02
• 分類號(hào): G10L15/02;G10L15/16;G10L21/007
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;賈允

1.一種語(yǔ)音處理方法，其特征在于，包括：

獲取原始對(duì)象的第一語(yǔ)音信息；

基于所述第一語(yǔ)音信息生成所述原始對(duì)象的聲學(xué)特征信息；

將所述原始對(duì)象的聲學(xué)特征信息輸入到語(yǔ)音識(shí)別模型進(jìn)行音素特征識(shí)別，得到所述第一語(yǔ)音信息中包含的音素信息；

將所述音素信息輸入到語(yǔ)音轉(zhuǎn)換模型進(jìn)行聲學(xué)特征轉(zhuǎn)換，得到目標(biāo)對(duì)象的聲學(xué)特征信息；

基于所述目標(biāo)對(duì)象的聲學(xué)特征信息生成所述目標(biāo)對(duì)象的第二語(yǔ)音信息；

其中，所述原始對(duì)象與所述目標(biāo)對(duì)象不同，所述第一語(yǔ)音信息與所述第二語(yǔ)音信息的語(yǔ)音內(nèi)容相同。

2.根據(jù)權(quán)利要求1所述的一種語(yǔ)音處理方法，其特征在于，所述方法還包括：

獲取第一神經(jīng)網(wǎng)絡(luò)模型；所述第一神經(jīng)網(wǎng)絡(luò)模型包括音素識(shí)別模塊和分類模塊；

獲取多項(xiàng)樣本聲學(xué)特征信息，以及與每項(xiàng)樣本聲學(xué)特征信息對(duì)應(yīng)的音素特征向量；

將每項(xiàng)樣本聲學(xué)特征信息輸入到所述音素識(shí)別模塊進(jìn)行音素識(shí)別，得到第一音素特征信息；

將所述第一音素特征信息輸入到所述分類模塊進(jìn)行音素分類，得到音素分類概率向量；

根據(jù)每項(xiàng)樣本聲學(xué)特征信息對(duì)應(yīng)的音素特征向量，以及每項(xiàng)樣本聲學(xué)特征信息對(duì)應(yīng)的所述音素分類概率向量，確定音素信息損失；

基于所述音素信息損失對(duì)所述第一神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型；

基于所述訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型生成所述語(yǔ)音識(shí)別模型。

3.根據(jù)權(quán)利要求2所述的一種語(yǔ)音處理方法，其特征在于，所述基于所述訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型生成所述語(yǔ)音識(shí)別模型包括：

基于所述訓(xùn)練完成的第一神經(jīng)網(wǎng)絡(luò)模型的音素識(shí)別模塊生成所述語(yǔ)音識(shí)別模型。

4.根據(jù)權(quán)利要求2或3所述的一種語(yǔ)音處理方法，其特征在于，所述音素識(shí)別模塊包括至少一個(gè)音素識(shí)別子模塊，其中每個(gè)所述音素識(shí)別子模塊包括音素特征短時(shí)建模模塊、特征維度轉(zhuǎn)換模塊以及音素特征長(zhǎng)時(shí)建模模塊；

所述方法還包括：

將待處理特征信息輸入所述音素特征短時(shí)建模模塊，對(duì)所述待處理特征信息進(jìn)行短時(shí)相關(guān)性建模，得到第一特征向量；

將所述第一特征向量輸入到所述特征維度轉(zhuǎn)換模塊進(jìn)行特征維度壓縮，得到第二特征向量；

將所述第二特征向量輸入到所述音素特征長(zhǎng)時(shí)建模模塊，對(duì)所述第二特征向量進(jìn)行長(zhǎng)時(shí)相關(guān)性建模，得到第三特征向量；

將所述第三特征向量作為所述音素識(shí)別子模塊的輸出信息；其中，所述第三特征向量的維度大于所述第二特征向量的維度；

其中，當(dāng)所述音素識(shí)別模塊包括一個(gè)所述音素識(shí)別子模塊時(shí)，所述待處理特征信息為所述每項(xiàng)樣本聲學(xué)特征信息，所述音素識(shí)別子模塊的輸出信息為所述第一音素特征信息。

5.根據(jù)權(quán)利要求1所述的一種語(yǔ)音處理方法，其特征在于，所述方法還包括：

獲取第二神經(jīng)網(wǎng)絡(luò)模型；

獲取多個(gè)樣本信息組；其中每個(gè)樣本信息組包括音素特征信息、對(duì)象標(biāo)記信息以及與所述音素特征信息對(duì)應(yīng)的聲學(xué)特征信息，所述聲學(xué)特征信息攜帶有所述對(duì)象標(biāo)記信息；

將每個(gè)樣本信息組中的音素特征信息，以及對(duì)象標(biāo)記信息輸入到所述第二神經(jīng)網(wǎng)絡(luò)模型進(jìn)行聲學(xué)特征轉(zhuǎn)換，得到已轉(zhuǎn)換聲學(xué)特征信息；

基于每個(gè)樣本信息組對(duì)應(yīng)的已轉(zhuǎn)換聲學(xué)特征信息，以及所述樣本信息組中的聲學(xué)特征信息，確定聲學(xué)特征損失；

基于所述聲學(xué)特征信息損失對(duì)所述第二神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到所述語(yǔ)音轉(zhuǎn)換模型。

6.根據(jù)權(quán)利要求5所述的一種語(yǔ)音處理方法，其特征在于，所述方法還包括：

獲取多項(xiàng)樣本音素特征信息，以及多項(xiàng)對(duì)象標(biāo)記信息；

基于每項(xiàng)樣本音素特征信息，得到攜帶有所述對(duì)象標(biāo)記信息的聲學(xué)特征信息；其中所述攜帶有所述對(duì)象標(biāo)記信息的聲學(xué)特征信息的項(xiàng)數(shù)，與所述對(duì)象標(biāo)記信息的項(xiàng)數(shù)一致；

對(duì)所述多項(xiàng)樣本音素特征信息，以及所述多項(xiàng)對(duì)象標(biāo)記信息進(jìn)行兩兩組合，得到多個(gè)第一信息組；

對(duì)于每個(gè)所述第一信息組，確定與所述第一信息組中的樣本音素特征信息對(duì)應(yīng)，且攜帶有所述第一信息組中的對(duì)象標(biāo)記信息的關(guān)聯(lián)聲學(xué)特征信息；

將所述關(guān)聯(lián)聲學(xué)特征信息添加到所述第一信息組中，生成所述樣本信息組。