[發明專利]一種語音合成方法、裝置、電子設備及存儲介質

在審

• 申請號: 202110921087.6
• 申請日: 2021-08-11
• 公開（公告）號: CN113611283A
• 公開（公告）日: 2021-11-05
• 發明（設計）人: 李建強;邸遠航;付光暉;董向民
• 申請（專利權）人: 北京工業大學
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/033;G10L13/027
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 王宇楊

1.一種語音合成方法，其特征在于，包括：

獲取待進行語音合成的目標語音；

將所述目標語音輸入至語音合成模型中，得到合成語音；所述合成語音的語音屬性由所述目標語音的語音屬性組成；

其中，所述語音合成模型基于以下步驟進行訓練，包括：

步驟1、獲取具有相同語音屬性的樣本語音，并提取所述樣本語音的語音特征，將所述語音特征輸入至訓練后的編碼器中，得到語音特征向量；

步驟2、將所述語音特征向量輸入至特征映射網絡進行語音屬性預劃分，得到所述樣本語音的各個語音屬性對應的特征向量；

步驟3、將具有相同語音屬性的特征向量進行交換，得到交換后的第一樣本語音特征向量集合和第二樣本語音特征向量集合；

步驟4、根據所述第一樣本語音特征向量集合和所述第二樣本語音特征向量集合，求解預設的語音屬性交換損失函數，所述語音屬性交換損失函數越小表示交換相同語音屬性的特征向量后的語音與樣本語音越接近；

步驟5、通過不斷優化所述語音屬性交換損失函數進行模型優化，當所述語音屬性交換損失函數小于預設閾值時訓練結束，從而獲取訓練好的語音合成模型。

2.根據權利要求1所述的語音合成方法，其特征在于，訓練所述編碼器，包括：

根據輸入所述編碼器的語音特征和由解碼器輸出的合成語音，求解預設的編碼器預訓練損失函數，并基于所述編碼器預訓練損失函數對編碼器進行預訓練。

3.根據權利要求1所述的語音合成方法，其特征在于，所述特征映射網絡由內容映射特征網絡、說話人特征映射網絡和情感特征映射網絡組成；

相應的，將所述語音特征向量輸入至特征映射網絡進行語音屬性預劃分，得到所述樣本語音的不同語音屬性對應的特征向量，包括：

將所述語音特征向量輸入至內容映射特征網絡，得到所述樣本語音的內容屬性對應的內容特征向量，以及，將所述語音特征向量輸入至說話人特征映射網絡，得到所述樣本語音的說話人屬性對應的說話人特征向量，以及，將所述語音特征向量輸入至情感特征映射網絡，得到所述樣本語音的情感屬性對應的情感特征向量。

4.根據權利要求1所述的語音合成方法，其特征在于，在得到所述樣本語音的各個語音屬性對應的特征向量后，還包括：

根據述樣本語音的各個語音屬性對應的特征向量進行語音重建，得到重建后的語音；

根據所述樣本語音和所述重建后的語音，求解預設的屬性預劃分損失函數，所述屬性預劃分損失函數越小表示重建后的語音與原始樣本語音越接近；

通過不斷優化所述屬性預劃分損失函數進行所述特征映射網絡的優化。

5.根據權利要求2所述的語音合成方法，其特征在于，所述編碼器預訓練損失函數L_r為：

L_r＝||D(E(x))-x||

其中，D為編碼器，E為解碼器，x為樣本語音。

6.根據權利要求4所述的語音合成方法，其特征在于，所述屬性預劃分損失函數L_fr為：

L_fr＝||D(c)-x||+||D(c^(o))-x^(o)||

其中，x和x^(o)為兩個具有相同屬性的樣本語音，c和c^(o)為樣本語音x和x^(o)經過編碼器和特征映射網絡后得到的特征向量。

7.根據權利要求1所述的語音合成方法，其特征在于，所述語音屬性交換損失函數L_sr為：

其中，c_s為具有相同屬性語音的特征向量交換后得到的第一語音特征向量，為具有相同屬性語音的特征向量交換后得到的第二語音特征向量。