[發明專利]語音轉換及相關模型的訓練方法、電子設備和存儲裝置

在審

• 申請號: 202011634065.3
• 申請日: 2020-12-31
• 公開（公告）號: CN112786018A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 劉利娟;胡亞軍;江源
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/26;G10L13/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

本申請公開了一種語音轉換及相關模型的訓練方法、電子設備和存儲裝置，其中，語音轉換模型的訓練方法包括：獲取目標對象的第一樣本語音以及預訓練的語音轉換模型；語音轉換模型是利用樣本對象的第二樣本語音及其經音色轉換后的第三樣本語音預訓練得到的；利用音素識別網絡識別第一樣本語音的第一音素信息，并提取第一樣本語音的第一實際聲學信息；利用聲學預測網絡對第一音素信息和第一實際聲學信息進行預測，得到第一預測聲學信息，并基于第一實際聲學信息和第一預測聲學信息之間的差異，調整聲學預測網絡的網絡參數；將音素識別網絡和調整后的聲學預測網絡的組合，作為與目標對象匹配的語音轉換模型。上述方案，能夠提高語音轉換的質量。

技術領域

本申請涉及語音合成技術領域，特別是涉及一種語音轉換及相關模型的訓練方法、電子設備和存儲裝置。

背景技術

語音轉換是語音合成領域中的一個重要分支，其目的在于將源對象的語音進行轉換，使得轉換后的語音具有源對象的說話內容，同時具有目標對象的說話音色。故此，如何提高語音轉換的質量成為極具研究價值的課題。

發明內容

本申請主要解決的技術問題文本是提供一種語音轉換及相關模型的訓練方法、電子設備和存儲裝置，能夠提高語音轉換的質量。

為了解決上述問題文本，本申請第一方面提供了一種語音轉換模型的訓練方法，包括：獲取目標對象的第一樣本語音，并獲取預訓練的語音轉換模型；其中，語音轉換模型包括音素識別網絡和聲學預測網絡，語音轉換模型是利用若干樣本對象的第二樣本語音和第三樣本語音預訓練得到的，第三樣本語音是對第二樣本語音進行音色轉換得到的；利用音素識別網絡識別第一樣本語音的第一音素信息，并提取第一樣本語音的第一實際聲學信息；利用聲學預測網絡對第一音素信息和第一實際聲學信息進行預測，得到第一預測聲學信息，并基于第一實際聲學信息和第一預測聲學信息之間的差異，調整聲學預測網絡的網絡參數；將音素識別網絡和調整后的聲學預測網絡的組合，作為與目標對象匹配的語音轉換模型。

為了解決上述問題文本，本申請第二方面提供了一種語音轉換方法，包括：獲取源對象的待轉換語音，并獲取與目標對象匹配的語音轉換模型；其中，語音轉換模型是利用第一方面中的語音轉換模型的訓練方法得到的；利用語音轉換模型的音素識別網絡識別待轉換語音的音素信息，并提取待轉換語音的實際聲學信息；利用語音轉換模型的聲學預測網絡對音素信息和實際聲學信息進行預測，得到預測聲學信息；利用預測聲學信息，合成得到音色與目標對象相同的合成語音。

為了解決上述問題文本，本申請第三方面提供了一種電子設備，包括相互耦接的存儲器和處理器，存儲器中存儲有程序指令，處理器用于執行程序指令以實現上述第一方面中的語音轉換模型的訓練方法，或實現上述第二方面中的語音轉換方法。

為了解決上述問題文本，本申請第四方面提供了一種存儲裝置，存儲有能夠被處理器運行的程序指令，程序指令用于實現上述第一方面中的語音轉換模型的訓練方法，或實現上述第二方面中的語音轉換方法。

上述方案，獲取目標對象的第一樣本語音，并獲取預訓練的語音轉換模型，且語音轉換模型包括音素識別網絡和聲學預測網絡，從而利用音素識別網絡識別第一樣本語音的第一音素信息，并提取第一樣本語音的第一實際聲學信息，由于語音轉換模型是利用若干樣本對象的第二樣本語音和第三樣本語音預訓練得到的，而第三樣本語音是對第二樣本語音進行音色轉換得到的，故有利于使預訓練的語音轉換模型能夠對于不同音色的語音均能夠準確地提取出音素信息，進而能夠有利于提高第一音素信息的準確性，在此基礎上，再利用聲學預測網絡對第一音素信息和第一實際聲學信息進行預測，得到第一預測聲學信息，并基于第一實際聲學信息和第一預測聲學信息之間的差異，調整聲學預測網絡的網絡參數，能夠進一步基于準確的第一音素信息通過約束第一實際聲學信息和預測得到的第一預測聲學信息來使聲學預測網絡學習目標對象的聲學特征，進而將音素識別網絡和調整后的聲學預測網絡的組合，作為與目標對象匹配的語音轉換模型，故能夠提高語音轉換模型的準確性，有利于提高語音轉換的質量。

附圖說明