[發(fā)明專利]一種語音翻譯方法及裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201810167142.5
• 申請(qǐng)日: 2018-02-28
• 公開（公告）號(hào): CN108447486B
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 王雨蒙;徐偉;江源;胡國(guó)平;胡郁
• 申請(qǐng)（專利權(quán)）人: 科大訊飛股份有限公司
• 主分類號(hào): G10L15/26
• 分類號(hào): G10L15/26;G10L13/02;G10L13/08;G06F40/58
• 代理公司: 北京集佳知識(shí)產(chǎn)權(quán)代理有限公司 11227
• 代理人: 張小娜;王寶筠

1.一種語音翻譯方法，其特征在于，包括：

獲取源發(fā)音人的第一目標(biāo)語音；

通過對(duì)所述第一目標(biāo)語音進(jìn)行語音翻譯，生成第二目標(biāo)語音，其中，所述第二目標(biāo)語音的語種與所述第一目標(biāo)語音的語種不同，所述第二目標(biāo)語音攜帶了所述源發(fā)音人的音色特征；

其中，所述通過對(duì)所述第一目標(biāo)語音進(jìn)行語音翻譯，生成第二目標(biāo)語音，包括：

通過對(duì)所述第一目標(biāo)語音進(jìn)行語音識(shí)別，生成語音識(shí)別文本；

通過對(duì)所述語音識(shí)別文本進(jìn)行文本翻譯，生成翻譯文本；

利用屬于所述源發(fā)音人的聲學(xué)模型針對(duì)所述翻譯文本獲取攜帶了所述源發(fā)音人的音色特征的聲學(xué)參數(shù)；

基于獲取的聲學(xué)參數(shù)，對(duì)所述翻譯文本進(jìn)行語音合成，生成第二目標(biāo)語音；

其中，屬于所述源發(fā)音人的聲學(xué)模型基于第二樣本文本單位、與所述第二樣本文本單位對(duì)應(yīng)的第一轉(zhuǎn)換文本單位、以及與所述第一轉(zhuǎn)換文本單位對(duì)應(yīng)的聲學(xué)參數(shù)構(gòu)建，所述第二樣本文本單位通過將所述源發(fā)音人的第二樣本語音的識(shí)別文本切分得到，所述第一轉(zhuǎn)換文本單位由編解碼模型對(duì)對(duì)應(yīng)的第二樣本文本單位進(jìn)行轉(zhuǎn)換得到，所述編解碼模型中的編碼部分依次包含音節(jié)內(nèi)音素的編碼過程、音節(jié)間的編碼過程和文本中的所有音素的編碼過程。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述利用屬于所述源發(fā)音人的聲學(xué)模型針對(duì)所述翻譯文本獲取攜帶了所述源發(fā)音人的音色特征的聲學(xué)參數(shù)，包括：

將所述翻譯文本按照預(yù)設(shè)大小的文本單位進(jìn)行切分，得到各個(gè)目標(biāo)文本單位；

利用屬于所述源發(fā)音人的聲學(xué)模型，獲取各個(gè)目標(biāo)文本單位的聲學(xué)參數(shù)；

所述基于獲取的聲學(xué)參數(shù)，對(duì)所述翻譯文本進(jìn)行語音合成，生成第二目標(biāo)語音，包括：

利用屬于所述源發(fā)音人的語音合成模型和各個(gè)目標(biāo)文本單位的聲學(xué)參數(shù)，對(duì)所述翻譯文本進(jìn)行語音合成，生成第二目標(biāo)語音。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

獲取所述源發(fā)音人的第二樣本語音，其中，所述第二樣本語音的語種與所述第二目標(biāo)語音的語種不同；

將所述第二樣本語音的識(shí)別文本按照所述預(yù)設(shè)大小的文本單位進(jìn)行切分，得到各個(gè)第二樣本文本單位；

將所述第二樣本文本單位進(jìn)行轉(zhuǎn)換，得到第一轉(zhuǎn)換文本單位，其中，所述第一轉(zhuǎn)換文本單位是所述第二目標(biāo)語音的語種所使用的文本單位；

從所述第二樣本語音中提取與所述第二樣本文本單位對(duì)應(yīng)的第二語音片段；

從所述第二語音片段中提取聲學(xué)參數(shù)，得到與所述第一轉(zhuǎn)換文本單位對(duì)應(yīng)的聲學(xué)參數(shù)；

利用各個(gè)第二樣本文本單位、與所述第二樣本文本單位對(duì)應(yīng)的第一轉(zhuǎn)換文本單位、以及與所述第一轉(zhuǎn)換文本單位對(duì)應(yīng)的聲學(xué)參數(shù)，構(gòu)建第二聲學(xué)模型；

則，所述利用屬于所述源發(fā)音人的聲學(xué)模型，獲取各個(gè)目標(biāo)文本單位的聲學(xué)參數(shù)，包括：

利用所述第二聲學(xué)模型，獲取各個(gè)目標(biāo)文本單位的聲學(xué)參數(shù)。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述方法還包括：

收集多個(gè)第一樣本文本，其中，所述第一樣本文本的語種與所述第二樣本語音的語種相同；

將所述第一樣本文本按照所述預(yù)設(shè)大小的文本單位進(jìn)行切分，得到各個(gè)第三樣本文本單位；

將所述第三樣本文本單位進(jìn)行轉(zhuǎn)換，得到第二轉(zhuǎn)換文本單位，其中，所述第二轉(zhuǎn)換文本單位是所述第三樣本文本單位以所述第二目標(biāo)語音的發(fā)音方式進(jìn)行發(fā)音的文本單位；

則，所述將所述第二樣本文本單位進(jìn)行轉(zhuǎn)換，得到第一轉(zhuǎn)換文本單位，包括：

確定與所述第二樣本文本單位相同的第三樣本文本單位；

將所確定的第三樣本文本單位對(duì)應(yīng)的第二轉(zhuǎn)換文本單位，作為第一轉(zhuǎn)換文本單位。