[發明專利]小語種語音語料擴增方法、裝置及電子設備和存儲介質

有效

• 申請號: 202110325580.1
• 申請日: 2021-03-26
• 公開（公告）號: CN113077783B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 白海釧;杜楊洲
• 申請（專利權）人: 聯想（北京）有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/16;G10L17/04;G10L17/18;G10L25/18;G10L25/30
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 張靜

1.一種小語種語音語料擴增方法，所述方法包括：

獲得小語種語料庫中的第一語音的第一頻譜特征；

利用聲紋屬性解耦表示模型中的編碼模塊對所述第一頻譜特征進行編碼，得到與所述第一頻譜特征對應的多個層級的參數；其中，每個層級的參數對應至少一個聲紋屬性，至少部分層級的參數中，不同層級的參數一一對應不同的聲紋屬性；

對所述多個層級的參數中的至少一個層級的參數進行調整，得到調整后的多個層級的參數；其中，對所述至少部分層級的參數中的任意一個層級的參數進行調整時，所述任意一個層級的參數對應的聲紋屬性的值改變，所述多個層級的參數中的其它層級的參數對應的聲紋屬性的值保持不變；

利用所述聲紋屬性解耦表示模型中的解碼器對所述調整后的多個層級的參數進行解碼，得到第二頻譜特征；

基于所述第二頻譜特征生成第二語音，對所述第二語音進行存儲以獲得擴增的小語種語音語料。

2.根據權利要求1所述的方法，所述利用聲紋屬性解耦表示模型中的編碼模塊對所述第一頻譜特征進行編碼，包括：

將所述第一頻譜特征轉換為圖像；利用所述聲紋屬性解耦表示模型中的編碼模塊對所述圖像進行編碼；

或者，

利用所述聲紋屬性解耦表示模型中的編碼模塊直接對所述第一頻譜特征進行編碼。

3.根據權利要求1所述的方法，所述聲紋屬性解耦表示模型通過如下方式訓練得到：

利用小語種語音數據集對生成式對抗網絡進行訓練，得到訓練好的生成式對抗網絡；所述訓練好的生成式對抗網絡中的生成器用于根據多個層級的參數生成頻譜特征；其中，每個層級的參數對應至少一個聲紋屬性，至少部分層級的參數中，不同層級的參數一一對應不同的聲紋屬性；

利用所述生成器根據多個樣本參數生成多個樣本頻譜特征；每個樣本參數為多個層級的參數，每個樣本參數用于生成一個樣本頻譜特征；

以所述樣本頻譜特征作為所述編碼模塊的輸入，多個層級的參數作為所述編碼模塊的輸出，所述編碼模塊輸出的多個層級的參數趨近于樣本參數為目標對所述編碼模塊進行預訓練，得到預訓練的編碼模塊；

利用所述預訓練的編碼模塊和所述生成器構建聲紋屬性解耦表示模式，所述預訓練的編碼模塊的輸出為所述生成器的輸入；所述生成器為所述解碼器；

將小語種語音樣本的頻譜特征輸入所述聲紋屬性解耦表示模型，得到所述聲紋屬性解耦表示模型輸出的所述生成器生成的頻譜特征；

以所述聲紋屬性解耦表示模型輸出的所述生成器生成的頻譜特征趨近于所述小語種語音樣本的頻譜特征樣本為目標對所述預訓練的編碼模塊的參數進行更新。

4.根據權利要求3所述的方法，所述生成式對抗網絡為StyleGAN網絡。

5.根據權利要求1所述的方法，不同層級的參數一一對應的不同的聲紋屬性包括如下幾個聲紋屬性中的至少部分：

年齡、性別、音色、音調、語速。

6.根據權利要求1所述的方法，所述獲得小語種語料庫中的第一語音的第一頻譜特征，包括：

對所述第一語音進行預處理，得到預處理后的語音；

獲取所述預處理后的語音的頻譜特征作為所述第一頻譜特征。