[發(fā)明專利]多語種語音的生成模型的訓(xùn)練方法、裝置及計(jì)算機(jī)設(shè)備

在審

• 申請?zhí)枺?/td>: 202011503535.2
• 申請日: 2020-12-18
• 公開（公告）號(hào): CN112669841A
• 公開（公告）日: 2021-04-16
• 發(fā)明（設(shè)計(jì)）人: 陳閩川;馬駿;王少軍
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G10L15/22
• 分類號(hào): G10L15/22;G10L15/26;G10L25/24;G10L19/02;G10L17/02;G10L15/06
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 涂年影

1.一種多語種語音的生成模型的訓(xùn)練方法，其特征在于，包括以下步驟：

若接收到用戶輸入的多語種語音，獲取所述多語種語音的文本、目標(biāo)梅爾頻譜以及所述用戶的聲紋特征向量；

根據(jù)預(yù)設(shè)的國際音標(biāo)表對所述文本進(jìn)行處理并將處理后的文本輸入到編碼器中，得到所述多語種語音的音素特征向量；

將所述音素特征向量與所述聲紋特征向量進(jìn)行拼接，得到所述多語種語音的特征向量；

將所述多語種語音的特征向量輸入到解碼器中，得到所述多語種語音的預(yù)測梅爾頻譜；

根據(jù)所述預(yù)測梅爾頻譜、所述目標(biāo)梅爾頻譜更新所述編碼器、所述解碼器的網(wǎng)絡(luò)參數(shù)。

2.根據(jù)權(quán)利要求1所述的多語種語音的生成模型的訓(xùn)練方法，其特征在于，所述根據(jù)所述預(yù)測梅爾頻譜、所述目標(biāo)梅爾頻譜更新所述編碼器、所述解碼器的網(wǎng)絡(luò)參數(shù)之后，還包括：

將所述預(yù)測梅爾頻譜、預(yù)設(shè)的說話人的聲紋特征向量輸入到生成器中，得到所述生成器生成的梅爾頻譜；

根據(jù)預(yù)置的分類判別模型對所述生成器生成的梅爾頻譜進(jìn)行分類判別，得到所述生成器生成的梅爾頻譜的分類判別結(jié)果；

根據(jù)所述分類判別結(jié)果更新所述生成器的網(wǎng)絡(luò)參數(shù)。

3.根據(jù)權(quán)利要求2所述的多語種語音的生成模型的訓(xùn)練方法，其特征在于，所述根據(jù)預(yù)置的分類判別模型對所述生成器生成的梅爾頻譜進(jìn)行分類判別，得到所述生成器生成的梅爾頻譜的分類判別結(jié)果，包括：

將所述生成器生成的梅爾頻譜、所述預(yù)測梅爾頻譜進(jìn)行拼接，得到拼接后的梅爾頻譜；

將所述拼接后的梅爾頻譜輸入到所述分類判別模型中，得到所述分類判別結(jié)果。

4.根據(jù)權(quán)利要求1所述的多語種語音的生成模型的訓(xùn)練方法，其特征在于，所述獲取所述多語種語音的文本、目標(biāo)梅爾頻譜以及所述用戶的聲紋特征向量，包括：

將所述多語種語音輸入到預(yù)置的ASR系統(tǒng)中，得到所述文本；

將所述多語種語音進(jìn)行傅里葉轉(zhuǎn)換并根據(jù)預(yù)置的梅爾濾波器組對轉(zhuǎn)換后的多語種語音進(jìn)行處理，得到所述目標(biāo)梅爾頻譜；

將所述目標(biāo)梅爾頻譜進(jìn)行倒譜分析，得到所述用戶的聲紋特征向量。

5.根據(jù)權(quán)利要求1所述的多語種語音的生成模型的訓(xùn)練方法，其特征在于，所述根據(jù)預(yù)設(shè)的國際音標(biāo)表對所述文本進(jìn)行處理，包括：

根據(jù)所述國際音標(biāo)表對所述文本進(jìn)行第一次標(biāo)注，得到標(biāo)注有音素的文本；

根據(jù)預(yù)設(shè)的標(biāo)注規(guī)則對所述標(biāo)注有音素的文本進(jìn)行第二次標(biāo)注，得到標(biāo)注有語種級(jí)音素的文本。

6.根據(jù)權(quán)利要求5所述的多語種語音的生成模型的訓(xùn)練方法，其特征在于，所述將處理后的文本輸入到編碼器中，得到所述多語種語音的音素特征向量，包括：

將所述標(biāo)注有語種級(jí)音素的文本進(jìn)行向量化并將向量化后的文本輸入至編碼器中，得到所述音素特征向量。

7.根據(jù)權(quán)利要求6所述的多語種語音的生成模型的訓(xùn)練方法，其特征在于，所述將所述標(biāo)注有語種級(jí)音素的文本進(jìn)行向量化，包括：

將所述文本的字符序列、音素序列、語種序列分別輸入至預(yù)置的詞嵌入模型中，得到文本向量序列、音素向量序列以及語種向量序列；

將所述文本向量序列、所述音素向量序列以及所述語種向量序列進(jìn)行拼接，得到所述向量化后的文本。

8.一種多語種語音的生成模型的訓(xùn)練裝置，其特征在于，包括：

接收單元，用于若接收到用戶輸入的多語種語音，獲取所述多語種語音的文本、目標(biāo)梅爾頻譜以及所述用戶的聲紋特征向量；

處理單元，用于根據(jù)預(yù)設(shè)的國際音標(biāo)表對所述文本進(jìn)行處理并將處理后的文本輸入到編碼器中，得到所述多語種語音的音素特征向量；

第一拼接單元，用于將所述音素特征向量與所述聲紋特征向量進(jìn)行拼接，得到所述多語種語音的特征向量；

解碼單元，用于將所述多語種語音的特征向量輸入到解碼器中，得到所述多語種語音的預(yù)測梅爾頻譜；

第一更新單元，用于根據(jù)所述預(yù)測梅爾頻譜、所述目標(biāo)梅爾頻譜更新所述編碼器、所述解碼器的網(wǎng)絡(luò)參數(shù)。