[發明專利]訓練數據有限情形下的非平行文本語音轉換方法

有效

• 申請號: 201810418346.1
• 申請日: 2018-05-03
• 公開（公告）號: CN109671423B
• 公開（公告）日: 2023-06-02
• 發明（設計）人: 李燕萍;許吉良
• 申請（專利權）人: 南京郵電大學
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L25/18;G10L25/24
• 代理公司: 南京蘇科專利代理有限責任公司 32102
• 代理人: 姚姣陽;徐振興

1.一種訓練數據有限情形下的非平行文本語音轉換方法，其特征在于，包括以下步驟：

1訓練部分：

1.1訓練語料通過AHOcoder分析/合成模型提取出不同說話人的不同語句的梅爾頻率倒譜系數Mel-Frequency?Cepstral?Coefficients，MFCC和對數基頻log?f₀；

1.2對1.1中說話人每幀的MFCC語音特征X進行一次差分和二次差分，并與原特征進行拼接得到特征X_t＝(X,ΔX,Δ²X)，然后將拼接后特征的前后各一幀形成聯合特征參數x_n＝(X_t-1,X_t,X_t+1)；

1.3將1.2中的聯合特征x_n作為說話人識別任務的深度神經網絡(Deep?NeuralNetworks，DNN)訓練的輸入數據，DNN模型的輸出為說話人分類標簽；當目標說話人訓練數據不充分時，對DNN的訓練過程進行干預與優化，補充目標說話人的特征空間；待DNN模型訓練至收斂后，提取每一幀的Bottleneck特征b_n作為變分自編碼器VariationalAutoencoder，VAE模型訓練過程中decoder的監督信息；

1.4對于VAE模型的訓練，將1.2中的輸出x_n和1.3中DNN模型的輸出b_n作為VAE模型的輸入，按照VAE模型訓練方法進行模型訓練；待VAE模型訓練至收斂后，將VAE隱含空間各幀的采樣特征z_n提取出來作為目標說話人Bottleneck特征映射網絡Back?Propagation網絡的訓練數據；

1.5訓練Bottleneck映射網絡，將1.4中得到的z_n和說話人標簽特征y_n組成聯合特征(z_n,y_n)輸入BP網絡，并以DNN網絡輸出的Bottleneck特征b_n作為BP網絡的監督數據進行訓練，通過隨機梯度下降算法優化網絡的輸出誤差，從而得到Bottleneck特征映射網絡；

1.6將以上訓練好的DNN特征提取網絡，VAE模型，Bottleneck特征映射網絡組成語音轉換系統；

2轉換階段：

2.1源說話人任意測試語音通過AHOcoder分析/合成模型提取源說話人MFCC特征參數X_src和對數基頻log?f₀；

2.2將源說話人任意測試語音的語音特征參數X_src輸入VAE語音轉換模型，通過VAE模型的encoder過程得到采樣特征z_n，并將z_n和說話人標簽特征y_n組成聯合特征(z_n,y_n)輸入Bottleneck特征映射網絡BP網絡，訓練得到目標說話人Bottleneck特征b_n，將b_n和z_n通過VAE模型的decoder重構出轉換后的語音特征參數X_tar；

2.3將轉換階段2.1中提取的源說話人對數基頻log?f₀轉換為目標說話人語音對數基頻，將轉換后的語音特征參數X_tar還原為梅爾頻率倒譜形式的語音頻譜特征參數x_n；

2.4將2.3中的語音頻譜特征參數x_n和目標說話人語音對數基頻通過AHOcoder模型合成轉換后的說話人語音。

2.根據權利要求1所述的訓練數據有限情形下的非平行文本語音轉換方法，其特征在于：所述步驟1.1中提取MFCC特征參數和對數基頻log?f₀是利用AHOcoder聲音編碼器提取得到，然后將MFCC特征參數讀取到MATLAB平臺進行處理。