[發明專利]一種風格遷移合成方法、裝置及電子設備

在審

• 申請號: 202111491886.0
• 申請日: 2021-12-08
• 公開（公告）號: CN114187892A
• 公開（公告）日: 2022-03-15
• 發明（設計）人: 趙情恩
• 申請（專利權）人: 北京百度網訊科技有限公司
• 主分類號: G10L13/047
• 分類號: G10L13/047;G10L13/04;G10L13/08;G10L13/033;G10L25/30;G10L19/04
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 馬敬;丁蕓

1.一種風格遷移合成方法，包括：

將目標文本和具有目標語音風格的目標音頻片段輸入至預先經過樣本文本和樣本音頻片段訓練得到的語音合成模型；

通過所述語音合成模型的風格抽取子模型，針對所述目標音頻片段中每個音頻單元，疊加用于表征所述目標音頻片段的粗粒度音頻特征和用于表征所述音頻單元的細粒度音頻特征，得到所述音頻單元的疊加音頻特征；

通過所述語音合成模型的內容編碼子模型，提取所述目標文本中每個發音單元的發音特征；

通過所述語音合成模型的內容風格交叉注意力子模型，針對所述目標文本中的每個發音單元，融合所述發音單元的發音特征以及目標疊加音頻特征，得到所述發音單元的融合特征，其中，所述目標疊加音頻特征為與所述發音特征匹配的疊加音頻特征；

通過所述語音合成模型的聲譜解碼子模型，根據所述目標文本中每個發音單元的所述融合特征，合成具有所述目標語音風格且語音內容為所述目標文本的音頻片段。

2.根據權利要求1所述的方法，其中，所述通過所述語音合成模型的風格抽取子模型，針對所述目標音頻片段中每個音頻單元，疊加用于表征所述目標音頻片段的粗粒度音頻特征和用于表征所述音頻單元的細粒度音頻特征，得到所述音頻單元的疊加音頻特征，包括：

通過所述語音合成模型的風格抽取模塊，提取所述目標音頻片段中所有音頻幀的平均音頻特征，作為粗粒度音頻特征；

通過所述風格抽取模塊，針對所述目標音頻片段中的每個音頻單元，提取所述音頻單元中所有音頻幀的平均音頻特征，作為所述音頻單元的細粒度音頻特征；

通過所述風格抽取模塊，針對所述目標音頻片段中的每個音頻單元，將所述音頻單元的所述細粒度音頻特征與所述粗粒度音頻特征相加，得到所述音頻單元的疊加音頻特征。

3.根據權利要求1所述的放法，其中，所述通過所述語音合成模型的內容風格交叉注意力子模型，針對目標文本中的每個發音單元，融合所述發音單元的發音特征以及目標疊加音頻特征，得到所述發音單元的融合特征，包括：

將目標文本中每個發音單元的發音特征輸入至所述語音合成模型中內容風格交叉注意力子模型的自注意力子網絡，得到所述子注意力子網絡輸出的經過調整的發音特征；

通過所述內容交叉子模型的交叉注意力子網絡，針對所述目標文本中的每個發音單元，融合所述發音單元的經過調整的發音特征以及目標疊加音頻特征，得到所述發音單元的融合特征，其中，所述所述目標疊加音頻特征為與經過調整的發音特征匹配的疊加音頻特征。

4.根據權利要求1所述的方法，其中，所述通過所述語音合成模型的聲譜解碼子模型，根據所述目標文本中每個發音單元的所述融合特征，合成具有所述目標語音風格且語音內容為所述目標文本的音頻片段，包括：

將所述目標文本中每個發音單元的所述融合特征、所述粗粒度音頻特征輸入至所述語音合成模型的聲譜解碼子模型，得到所述聲譜解碼子網絡輸出的聲譜特征；

將所述聲譜特征轉換為具有所述目標語音風格且語音內容為所述目標文本的音頻片段。

5.一種語音合成模型的訓練方法，包括：

將樣本音頻片段、樣本文本輸入至原始模型，其中，所述樣本文本為所述樣本音頻片段的語音內容；

通過所述原始模型，針對所述樣本音頻片段中每個音頻單元，疊加用于表征所述樣本音頻片段的粗粒度音頻特征和用于表征所述音頻單元的細粒度音頻特征，得到所述音頻單元的疊加音頻特征；

通過所述原始模型，提取所述樣本文本中每個發音單元的發音特征；

通過所述原始模型，針對所述樣本文本中的每個發音單元，融合所述發音單元的發音特征以及目標疊加音頻特征，得到所述發音單元的融合特征，其中，所述目標疊加音頻特征為與所述發音特征匹配的疊加音頻特征；

通過所述原始模型，根據所述樣本文本中每個發音單元的所述融合特征轉換為預測聲譜特征；

根據所述預測聲譜特征與所述樣本音頻片段的真實聲譜特征之間的差異，調整所述原始模型的模型參數；

獲取新的樣本音頻片段和新的樣本文本，返回執行所述將樣本音頻片段、樣本文本輸入至原始模型的步驟，直至達到第一收斂條件，將經過調整的原始模型作為語音合成模型。