[發明專利]一種聲學模型訓練方法、裝置、終端設備及存儲介質

在審

• 申請號: 202110651207.5
• 申請日: 2021-06-10
• 公開（公告）號: CN113327578A
• 公開（公告）日: 2021-08-31
• 發明（設計）人: 郭洋;王健宗
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L25/30
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 路亞芳

本申請適用于信號處理技術領域，提供了一種聲學模型訓練方法、裝置、終端設備及存儲介質。本申請實施例通過語句編碼模塊提取訓練語音的n個語句向量，以獲取訓練語音的語句特征；通過音素編碼模塊提取訓練語音的n段音素向量，以獲取訓練語音的音素特征；將n個語句向量和n段音素向量輸入聲學建模模塊，以獲取訓練語音的聲學信息；將訓練語音的聲學信息輸入解碼模塊，以獲取訓練語音的聲譜圖；根據訓練語音和訓練語音的聲譜圖，更新解碼模塊的參數，可以從訓練語音中捕捉豐富的細顆粒度聲學信息，減少訓練語音的需求量，從而降低數據集的獲取難度并提升數據集的質量，進而提高語音合成的自然度以及和說話者聲音的相似度。

技術領域

本申請屬于信號處理技術領域，尤其涉及一種聲學模型訓練方法、裝置、終端設備及存儲介質。

背景技術

語音合成可以將文本轉化為對應的語音，目前已經在智能移動終端、智能家居、智能機器人領域和車載設備等領域得到廣泛應用。一個語音合成系統通常包括聲學模型和語言模型，聲學模型用于提取語音的聲學信息形成聲譜圖，語言模型用于根據聲譜圖形成對應的文本。隨著語音合成滿足了聲音清晰的基本要求后，開發重點轉移到了提高語音合成的自然度以及和說話者聲音的相似度，這對聲學模型的性能提出了進一步要求。

為了提升聲學模型性能，需要獲取包含大量高質量語音的數據集，數據集中需要包含多個說話者，從而獲取每個說話者的高質量語音，并且要考慮語音在不同的韻律、情感、口音和錄制環境等因素下的差異，導致數據集的獲取工作繁重，容易由于數據集質量不佳影響聲學模型的識別準確度和聲音質量。

發明內容

有鑒于此，本申請實施例提供了一種聲學模型訓練方法、裝置、終端設備及存儲介質，以解決現有的聲學模型由于數據集質量不佳影響聲學模型的識別準確度和聲音質量的問題。

本申請實施例的第一方面提供了一種聲學模型訓練方法，包括：

將訓練語音分別輸入語句編碼模塊和音素編碼模塊；

通過所述語句編碼模塊提取所述訓練語音的n個語句向量，獲取所述訓練語音的語句特征；其中，一個語句向量包括多個單詞向量，n為大于或等于1的整數；

通過所述音素編碼模塊提取所述訓練語音的n段音素向量，獲取所述訓練語音的音素特征，所述n段音素向量與所述n個語句向量一一對應；

將所述n個語句向量和所述n段音素向量輸入聲學建模模塊，獲取所述訓練語音的聲學信息，所述聲學信息包括將所述n個語句特征和所述n段音素特征進行相加的聲學特征；

將所述訓練語音的聲學信息輸入解碼模塊，獲取所述訓練語音的聲譜圖；

根據所述訓練語音和所述訓練語音的聲譜圖，更新所述解碼模塊的參數。

本申請實施例的第二方面提供了一種聲學模型訓練裝置，包括：

輸入模塊，用于將訓練語音分別輸入語句編碼模塊和音素編碼模塊；

第一提取模塊，用于通過所述語句編碼模塊提取所述訓練語音的n個語句向量，獲取所述訓練語音的語句特征；其中，一個語句向量包括多個單詞向量，n為大于或等于1的整數；

第二提取模塊，用于通過所述音素編碼模塊提取所述訓練語音的n段音素向量，獲取所述訓練語音的音素特征，所述n段音素向量與所述n個語句向量一一對應；

建模模塊，將所述n個語句向量和所述n段音素向量輸入聲學建模模塊，獲取所述訓練語音的聲學信息，所述聲學信息包括將所述n個語句特征和所述n段音素特征進行相加的聲學特征；

解碼模塊，用于將所述訓練語音的聲學信息輸入解碼模塊，獲取所述訓練語音的聲譜圖；

訓練模塊，用于根據所述訓練語音和所述訓練語音的聲譜圖，更新所述解碼模塊的參數。