[發明專利]語音轉換及相關模型的訓練方法、電子設備和存儲裝置

在審

• 申請號: 202011634065.3
• 申請日: 2020-12-31
• 公開（公告）號: CN112786018A
• 公開（公告）日: 2021-05-11
• 發明（設計）人: 劉利娟;胡亞軍;江源
• 申請（專利權）人: 科大訊飛股份有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/26;G10L13/08
• 代理公司: 深圳市威世博知識產權代理事務所(普通合伙) 44280
• 代理人: 何倚雯

1.一種語音轉換模型的訓練方法，其特征在于，包括：

獲取目標對象的第一樣本語音，并獲取預訓練的語音轉換模型；其中，所述語音轉換模型包括音素識別網絡和聲學預測網絡，所述語音轉換模型是利用若干樣本對象的第二樣本語音和第三樣本語音預訓練得到的，所述第三樣本語音是對所述第二樣本語音進行音色轉換得到的；

利用所述音素識別網絡識別所述第一樣本語音的第一音素信息，并提取所述第一樣本語音的第一實際聲學信息；

利用所述聲學預測網絡對所述第一音素信息和所述第一實際聲學信息進行預測，得到第一預測聲學信息，并基于所述第一實際聲學信息和所述第一預測聲學信息之間的差異，調整所述聲學預測網絡的網絡參數；

將所述音素識別網絡和調整后的所述聲學預測網絡的組合，作為與所述目標對象匹配的語音轉換模型。

2.根據權利要求1所述的方法，其特征在于，所述獲取預訓練的語音轉換模型，包括：

利用所述音素識別網絡分別識別所述第二樣本語音的第二音素信息和所述第三樣本語音的第三音素信息；

基于所述第二音素信息和所述第三音素信息之間的差異，調整所述音素識別網絡的網絡參數。

3.根據權利要求2所述的方法，其特征在于，所述調整所述音素識別網絡的網絡參數之后，所述方法還包括：

利用所述音素識別網絡識別所述第二樣本語音的第四音素信息，并提取所述第二樣本語音的第二實際聲學信息；

利用所述聲學預測網絡對所述第四音素信息和所述第二實際聲學信息進行預測，得到第二預測聲學信息；

基于所述第二實際聲學信息和所述第二預測聲學信息之間的差異，調整所述聲學預測網絡的網絡參數。

4.根據權利要求2所述的方法，其特征在于，所述第二樣本語音標注有實際音素信息；在所述利用所述音素識別網絡分別識別所述第二樣本語音的第二音素信息和所述第三樣本語音的第三音素信息之前，所述方法還包括：

利用對象識別網絡對所述第二樣本語音的第二音素信息進行識別，得到所述第二樣本語音分別屬于所述若干樣本對象的預測概率分布；

基于所述第二音素信息和所述實際音素信息，得到第一識別損失值，并基于所述預測概率分布和所述第二樣本語音所屬的樣本對象，得到第二識別損失值；

利用所述第一識別損失值調整所述音素識別網絡的網絡參數，或者，利用所述第二識別損失值調整所述對象識別網絡的網絡參數。

5.根據權利要求4所述的方法，其特征在于，所述音素識別網絡是經若干次預訓練得到的，所述方法還包括：

在訓練次數滿足預設條件的情況下，利用所述第一識別損失值調整所述音素識別網絡的網絡參數；

在訓練次數不滿足所述預設條件的情況下，利用所述第二識別損失值調整所述對象識別網絡的網絡參數。

6.根據權利要求4所述的方法，其特征在于，所述基于所述第二音素信息和所述實際音素信息，得到第一識別損失值，包括：

利用所述第二音素信息和所述實際音素信息之間差異，以及所述預測概率分布和預設概率分布之間的差異，得到所述第一識別損失值；

其中，所述預設概率分布包含所述第二樣本語音分別屬于所述若干樣本對象的預設概率值，且各個所述預設概率值相同。

7.根據權利要求1所述的方法，其特征在于，所述第三樣本語音的獲取步驟，包括：

利用所述若干樣本對象的第二樣本語音分別訓練得到與樣本對象對應的預設聲學預測網絡；

分別將各個所述樣本對象作為當前對象，將其余所述樣本對象作為參考對象，并獲取與所述參考對象對應的預設聲學預測網絡；

利用所述音素識別網絡識別所述當前對象的第二樣本語音的第五音素信息，并提取所述當前對象的第二樣本語音的第三實際聲學信息；

利用所述參考對象的預設聲學預測網絡對所述第五音素信息和所述第三實際聲學信息進行預測，得到第三預測聲學信息；

利用所述第三預測聲學信息，合成得到音色與所述參考對象相同的第三樣本語音。