[發明專利]語音合成方法、裝置、存儲介質及電子設備

在審

• 申請號: 202210179826.3
• 申請日: 2022-02-25
• 公開（公告）號: CN114495901A
• 公開（公告）日: 2022-05-13
• 發明（設計）人: 張楚雄;潘俊杰;殷翔;馬澤君
• 申請（專利權）人: 北京有竹居網絡技術有限公司
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/047
• 代理公司: 北京英創嘉友知識產權代理事務所(普通合伙) 11447
• 代理人: 曹寒梅

本公開涉及一種語音合成方法、裝置、存儲介質及電子設備，包括：提取目標說話人語音的第一特征向量，并通過說話人特征提取網絡在目標說話人語音中提取目標說話人聲音特征；根據第一特征向量、目標說話人聲音特征和目標說話人語音對第一解碼器進行參數調整；通過參數調整后的第一解碼器和第二編碼器構建目標語音合成模型；將待合成文本和目標說話人聲音特征輸入目標語音合成模型以合成得到的目標語音。這樣，無需完全依賴該說話人特征提取網絡對已獲得用戶授權使用的該說話人聲音特征進行提取的能力，也不會在根據已獲得用戶授權使用的目標說話人語音參數調整時將帶噪的音質信息固化在語音合成系統中，保證了語音合成的穩定性和精度。

技術領域

本公開涉及音頻處理技術領域，具體地，涉及一種語音合成方法、裝置、存儲介質及電子設備。

背景技術

在語音合成領域，一般的應用場景下，合成需要大量的數據(5h以上)做支持才能有相對穩定的效果。對于大部分用戶，按照嚴格的規范錄制5h的數據是不現實的，并且對于常規用戶來說，對自身語音進行合成時更關注于合成語音與自身語音在音色音調等方面的效果。如何在保障用戶音色效果的情況下，盡可能增強語音合成系統本身的發音穩定性以及提升音質，是需要重點解決的問題。

現有的語音合成方案中通常需要絕對依賴于解耦能力極強的說話人特征提取網絡，也即合成得到的語音與需要合成的已獲得用戶授權使用的目標說話人語音之間絕對依賴于說話人特征提取網絡的能力，但現有技術中的說話人特征提取網絡的能力并不能完全達到該場景下的需求；另外，還有語音合成方案會先通過已獲得用戶授權使用的目標說話人語音對預先訓練好的語音合成系統進行再次訓練，以實現合成音色上的效果，但由于語音合成系統的目的是需要合成帶有音質信息的語音，因此若該已獲得用戶授權使用的目標說話人語音中帶噪，訓練得到的語音合成系統中也會包括該帶噪的音質信息，從而導致后續根據文本合成的語音中都帶噪的問題。

發明內容

提供該部分內容以便以簡要的形式介紹構思，這些構思將在后面的具體實施方式部分被詳細描述。該部分內容并不旨在標識要求保護的技術方案的關鍵特征或必要特征，也不旨在用于限制所要求的保護的技術方案的范圍。

第一方面，本公開提供一種語音合成方法，所述方法包括：

獲取目標說話人語音；

通過第一編碼器提取所述目標說話人語音的第一特征向量，并通過說話人特征提取網絡在所述目標說話人語音中提取目標說話人的目標說話人聲音特征；

根據所述第一特征向量、所述目標說話人聲音特征和所述目標說話人語音對第一解碼器進行參數調整，其中，所述第一解碼器為已經預先訓練過的解碼器；

通過所述參數調整后的第一解碼器和第二編碼器構建目標語音合成模型，所述第二編碼器為預先訓練得到；

將待合成文本和所述目標說話人聲音特征輸入目標語音合成模型以合成得到與所述目標說話人對應的目標語音。

第二方面，本公開提供一種語音合成裝置，所述裝置包括：

獲取模塊，用于獲取目標說話人語音；

第一處理模塊，用于通過第一編碼器提取所述目標說話人語音的第一特征向量，并通過說話人特征提取網絡在所述目標說話人語音中提取目標說話人的目標說話人聲音特征；

第二處理模塊，用于根據所述第一特征向量、所述目標說話人聲音特征和所述目標說話人語音對第一解碼器進行參數調整，其中，所述第一解碼器為已經預先訓練過的解碼器；

第三處理模塊，用于通過所述參數調整后的第一解碼器和第二編碼器構建目標語音合成模型，所述第二編碼器為預先訓練得到；

語音合成模塊，用于將待合成文本和所述目標說話人聲音特征輸入目標語音合成模型以合成得到與所述目標說話人對應的目標語音。