[發明專利]語音合成模型的訓練方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202111137350.9
• 申請日: 2021-09-27
• 公開（公告）號: CN113870837A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 郭洋;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/02;G10L25/27
• 代理公司: 深圳市力道知識產權代理事務所(普通合伙) 44507
• 代理人: 張傳義

本申請涉及人工智能技術領域，公開了一種自定義語音合成模型的訓練方法，包括：加載待訓練語音合成模型，并獲取進行訓練的初始數據，其中，所述初始數據包括文本信息以及標準音頻信息；根據所述文本信息，得到所述初始數據對應的音素隱性特征向量和音素差異向量；根據所述標準音頻信息、音素隱性特征向量以及音素差異向量，對所述待訓練語音合成模型進行訓練，得到基礎模型；接收模型微調數據，并基于所述模型微調數據對所述基礎模型進行微調，得到訓練好的語音合成模型。本申請還提供一種裝置、計算機設備和存儲介質。實現了定制化的模型微調，降低模型微調的工作量，提高模型訓練效率，也提高了語音合成的質量。

技術領域

本申請涉及人工智能技術領域，尤其涉及一種自定義語音合成模型的訓練方法、自定義語音合成模型的訓練裝置、計算機設備及計算機可讀存儲介質。

背景技術

自定義語音是商業語音平臺中一種特殊的文本轉語音服務，旨在利用少量目標說話人語音數據微調源語音合成模型，實現合成目標說話人語音的目的。但是，少量目標說話人語音數據對合成目標說話人語音的自然度和相似性提出了挑戰。

以往關于自定義語音的研究充分考慮了微調參數量設置這一問題，但并沒有完全克服上述挑戰。具體地，對整個源模型微調或者只微調源模型中解碼器部分參數，雖能取得優良的合成語音質量，但是需微調的參數隨著用戶的增加而大量增加，這限制了其在實際商業服務中的應用。一些工作，僅微調說話人向量參數，可實現高效和輕量化的自定義語音，但合成語音質量較差。

因此，現在亟需一種提高模型訓練效率以及語音合成的質量的自定義語音合成模型的訓練方法。

發明內容

本申請提供了一種自定義語音合成模型的訓練方法、裝置、計算機設備及存儲介質，以降低模型微調的工作量，提高模型訓練效率，也提高了語音合成的質量。

第一方面，本申請提供了一種自定義語音合成模型的訓練方法，所述方法包括：

加載待訓練語音合成模型，并獲取進行訓練的初始數據，其中，所述初始數據包括文本信息以及標準音頻信息，且所述文本信息與所述標準音頻信息一一對應；

根據所述文本信息，得到所述初始數據對應的音素隱性特征向量和音素差異向量；

根據所述標準音頻信息、音素隱性特征向量以及音素差異向量，對所述待訓練語音合成模型進行訓練，得到基礎模型；

接收模型微調數據，并基于所述模型微調數據對所述基礎模型進行微調，得到訓練好的語音合成模型。

第二方面，本申請還提供了一種自定義語音合成模型的訓練裝置，所述裝置包括：

數據加載模塊，用于加載待訓練語音合成模型，并獲取進行訓練的初始數據，其中，所述初始數據包括文本信息以及標準音頻信息，且所述文本信息與所述標準音頻信息一一對應；

特征提取模塊，用于根據所述文本信息，得到所述初始數據對應的音素隱性特征向量和音素差異向量；

基礎訓練模塊，用于根據所述標準音頻信息、音素隱性特征向量以及音素差異向量，對所述待訓練語音合成模型進行訓練，得到基礎模型；

微調處理模塊，用于接收模型微調數據，并基于所述模型微調數據對所述基礎模型進行微調，得到訓練好的語音合成模型。

第三方面，本申請還提供了一種計算機設備，所述計算機設備包括存儲器和處理器；所述存儲器用于存儲計算機程序；所述處理器，用于執行所述計算機程序并在執行所述計算機程序時實現如上述的自定義語音合成模型的訓練方法。

第四方面，本申請還提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，所述計算機程序被處理器執行時使所述處理器實現如上述的自定義語音合成模型的訓練方法。