[發明專利]多語種語音的生成模型的訓練方法、裝置及計算機設備

在審

• 申請號: 202011503535.2
• 申請日: 2020-12-18
• 公開（公告）號: CN112669841A
• 公開（公告）日: 2021-04-16
• 發明（設計）人: 陳閩川;馬駿;王少軍
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L15/22
• 分類號: G10L15/22;G10L15/26;G10L25/24;G10L19/02;G10L17/02;G10L15/06
• 代理公司: 深圳市精英專利事務所 44242
• 代理人: 涂年影

1.一種多語種語音的生成模型的訓練方法，其特征在于，包括以下步驟：

若接收到用戶輸入的多語種語音，獲取所述多語種語音的文本、目標梅爾頻譜以及所述用戶的聲紋特征向量；

根據預設的國際音標表對所述文本進行處理并將處理后的文本輸入到編碼器中，得到所述多語種語音的音素特征向量；

將所述音素特征向量與所述聲紋特征向量進行拼接，得到所述多語種語音的特征向量；

將所述多語種語音的特征向量輸入到解碼器中，得到所述多語種語音的預測梅爾頻譜；

根據所述預測梅爾頻譜、所述目標梅爾頻譜更新所述編碼器、所述解碼器的網絡參數。

2.根據權利要求1所述的多語種語音的生成模型的訓練方法，其特征在于，所述根據所述預測梅爾頻譜、所述目標梅爾頻譜更新所述編碼器、所述解碼器的網絡參數之后，還包括：

將所述預測梅爾頻譜、預設的說話人的聲紋特征向量輸入到生成器中，得到所述生成器生成的梅爾頻譜；

根據預置的分類判別模型對所述生成器生成的梅爾頻譜進行分類判別，得到所述生成器生成的梅爾頻譜的分類判別結果；

根據所述分類判別結果更新所述生成器的網絡參數。

3.根據權利要求2所述的多語種語音的生成模型的訓練方法，其特征在于，所述根據預置的分類判別模型對所述生成器生成的梅爾頻譜進行分類判別，得到所述生成器生成的梅爾頻譜的分類判別結果，包括：

將所述生成器生成的梅爾頻譜、所述預測梅爾頻譜進行拼接，得到拼接后的梅爾頻譜；

將所述拼接后的梅爾頻譜輸入到所述分類判別模型中，得到所述分類判別結果。

4.根據權利要求1所述的多語種語音的生成模型的訓練方法，其特征在于，所述獲取所述多語種語音的文本、目標梅爾頻譜以及所述用戶的聲紋特征向量，包括：

將所述多語種語音輸入到預置的ASR系統中，得到所述文本；

將所述多語種語音進行傅里葉轉換并根據預置的梅爾濾波器組對轉換后的多語種語音進行處理，得到所述目標梅爾頻譜；

將所述目標梅爾頻譜進行倒譜分析，得到所述用戶的聲紋特征向量。

5.根據權利要求1所述的多語種語音的生成模型的訓練方法，其特征在于，所述根據預設的國際音標表對所述文本進行處理，包括：

根據所述國際音標表對所述文本進行第一次標注，得到標注有音素的文本；

根據預設的標注規則對所述標注有音素的文本進行第二次標注，得到標注有語種級音素的文本。

6.根據權利要求5所述的多語種語音的生成模型的訓練方法，其特征在于，所述將處理后的文本輸入到編碼器中，得到所述多語種語音的音素特征向量，包括：

將所述標注有語種級音素的文本進行向量化并將向量化后的文本輸入至編碼器中，得到所述音素特征向量。

7.根據權利要求6所述的多語種語音的生成模型的訓練方法，其特征在于，所述將所述標注有語種級音素的文本進行向量化，包括：

將所述文本的字符序列、音素序列、語種序列分別輸入至預置的詞嵌入模型中，得到文本向量序列、音素向量序列以及語種向量序列；

將所述文本向量序列、所述音素向量序列以及所述語種向量序列進行拼接，得到所述向量化后的文本。

8.一種多語種語音的生成模型的訓練裝置，其特征在于，包括：

接收單元，用于若接收到用戶輸入的多語種語音，獲取所述多語種語音的文本、目標梅爾頻譜以及所述用戶的聲紋特征向量；

處理單元，用于根據預設的國際音標表對所述文本進行處理并將處理后的文本輸入到編碼器中，得到所述多語種語音的音素特征向量；

第一拼接單元，用于將所述音素特征向量與所述聲紋特征向量進行拼接，得到所述多語種語音的特征向量；

解碼單元，用于將所述多語種語音的特征向量輸入到解碼器中，得到所述多語種語音的預測梅爾頻譜；

第一更新單元，用于根據所述預測梅爾頻譜、所述目標梅爾頻譜更新所述編碼器、所述解碼器的網絡參數。