[發明專利]一種語音合成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110921087.6
• 申請日: 2021-08-11
• 公開（公告）號: CN113611283A
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 李建強;邸遠航;付光暉;董向民
• 申請（專利權）人: 北京工業大學
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/033;G10L13/027
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

本申請實施例公開了一種語音合成方法、裝置、電子設備及存儲介質。所述方法包括：獲取待進行語音合成的目標語音；將所述目標語音輸入至語音合成模型中，得到合成語音；所述合成語音的語音屬性由所述目標語音的語音屬性組成。本申請實施例通過語音合成模型將多個目標語音的語音屬性進行自由組合，生成新的語音，可以實現全局多屬性可控的語音合成，而且保持全局語音信息一致。

技術領域

本申請涉及語音處理技術領域，具體涉及一種語音合成方法、裝置、電子設備及存儲介質。

背景技術

隨著人工智能技術的發展，基于深度學習的研究在語音領域引起了廣泛關注，在專業音頻編輯、音樂創作、聲音設計和電影后期制作(包括配音)等應用程序上取得了很大的成功。其中，一段語音包含以下信息：語言學內容(語音表述的內容)、說話人特征(如一個人的音色、音調等)和副語言特征(如情感等)。

目前在語音合成的研究中，現有技術只能夠實現局部屬性可控的語音合成，其所生成的語音僅僅是局部屬性的改變。例如僅單一改變語音的內容特征，無法對說話人特征和情感特征進行可控的解耦。

發明內容

由于現有方法存在上述問題，本申請實施例提供一種語音合成方法、裝置、電子設備及存儲介質。

具體的，本申請實施例提供了以下技術方案：

第一方面，本申請實施例提供了一種語音合成方法，包括：

獲取待進行語音合成的目標語音；

將所述目標語音輸入至語音合成模型中，得到合成語音；所述合成語音的語音屬性由所述目標語音的語音屬性組成；

其中，所述語音合成模型基于以下步驟進行訓練，包括：

步驟1、獲取具有相同語音屬性的樣本語音，并提取所述樣本語音的語音特征，將所述語音特征輸入至訓練后的編碼器中，得到語音特征向量；

步驟2、將所述語音特征向量輸入至特征映射網絡進行語音屬性預劃分，得到所述樣本語音的各個語音屬性對應的特征向量；

步驟3、將具有相同語音屬性的特征向量進行交換，得到交換后的第一樣本語音特征向量集合和第二樣本語音特征向量集合；

步驟4、根據所述第一樣本語音特征向量集合和所述第二樣本語音特征向量集合，求解預設的語音屬性交換損失函數，所述語音屬性交換損失函數越小表示交換相同語音屬性的特征向量后的語音與樣本語音越接近；

步驟5、通過不斷優化所述語音屬性交換損失函數進行模型優化，當所述語音屬性交換損失函數小于預設閾值時訓練結束，從而獲取訓練好的語音合成模型。

可選的，訓練所述編碼器，包括：

根據輸入所述編碼器的語音特征和由解碼器輸出的合成語音，求解預設的編碼器預訓練損失函數，并基于所述編碼器預訓練損失函數對所述語音合成模型進行預訓練。

可選的，所述特征映射網絡由內容映射特征網絡、說話人特征映射網絡和情感特征映射網絡組成；

相應的，將所述語音特征向量輸入至特征映射網絡進行語音屬性預劃分，得到所述樣本語音的不同語音屬性對應的特征向量，包括：

將所述語音特征向量輸入至內容映射特征網絡，得到所述樣本語音的內容屬性對應的內容特征向量，以及，將所述語音特征向量輸入至說話人特征映射網絡，得到所述樣本語音的說話人屬性對應的說話人特征向量，以及，將所述語音特征向量輸入至情感特征映射網絡，得到所述樣本語音的情感屬性對應的情感特征向量。

可選的，在得到所述樣本語音的各個語音屬性對應的特征向量后，還包括：

根據述樣本語音的各個語音屬性對應的特征向量進行語音重建，得到重建后的語音；