[發(fā)明專利]一種基于循環(huán)生成對抗網(wǎng)絡(luò)的語音轉(zhuǎn)換方法

在審

• 申請?zhí)枺?/td>: 201910669055.4
• 申請日: 2019-07-24
• 公開（公告）號: CN110459232A
• 公開（公告）日: 2019-11-15
• 發(fā)明（設(shè)計）人: 吳哲夫;陳明達
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G10L21/007
• 分類號: G10L21/007
• 代理公司: 33241 杭州斯可睿專利事務(wù)所有限公司
• 代理人: 王利強<國際申請>=<國際公布>=<進入

1.一種基于循環(huán)生成對抗網(wǎng)絡(luò)的語音轉(zhuǎn)換方法，其特征在于，所述方法包括以下步驟：

步驟1：獲取源說話人與目標說話人的語料庫并將所有的音頻統(tǒng)一為固定比特；

步驟2：按照設(shè)定的比例分別將源說話人與目標說話人的數(shù)據(jù)集分成訓(xùn)練集、測試集和驗證集；

步驟3：使用WORLD模型分別從源說話人和目標說話人訓(xùn)練集語音中提取平滑功率譜參數(shù)sp；

步驟4：將源說話者和目標說話者的功率譜參數(shù)sp送入到CycleGAN模型中訓(xùn)練；

步驟5：模型訓(xùn)練完成之后使用WORLD模型從源說話人和目標說話人的驗證集語音當中提取基頻信息f0、非周期分量ap和平滑功率譜參數(shù)sp，并對f0做線性變換，ap不做任何處理，sp傳入訓(xùn)練好的CycleGAN模型當中轉(zhuǎn)換并輸出；

步驟6：使用WORLD將步驟5中的f0、ap和sp合成語音轉(zhuǎn)換后的音頻，若轉(zhuǎn)換效果良好，音質(zhì)清晰，則保存訓(xùn)練好的CycleGAN模型；

步驟7：使用WORLD提取源說話人測試集語音的基頻信息f0、非周期分量ap和平滑功率譜參數(shù)sp，對f0做與步驟5相同的線性變換，ap不做任何處理，sp傳入步驟6保存好的CycleGAN模型中進行轉(zhuǎn)換；

步驟8：使用WORLD將步驟7中的f0、ap和sp合成語音并輸出。

2.如權(quán)利要求1所述的一種基于循環(huán)生成對抗網(wǎng)絡(luò)的語音轉(zhuǎn)換方法，其特征在于，所述步驟4中，功率譜參數(shù)送入CycleGAN之前，需要使用WORLD對其進行編碼，降低維度之后再傳入網(wǎng)絡(luò)模型。

3.如權(quán)利要求1或2所述的一種基于循環(huán)生成對抗網(wǎng)絡(luò)的語音轉(zhuǎn)換方法，其特征在于，所述步驟5中,sp傳入訓(xùn)練好的CycleGAN網(wǎng)絡(luò)模型進行轉(zhuǎn)換輸出之后，要對sp進行解碼操作，以恢復(fù)之前的維度。

4.如權(quán)利要求1或2所述的一種基于循環(huán)生成對抗網(wǎng)絡(luò)的語音轉(zhuǎn)換方法，其特征在于，所述步驟5中，f0的線性變換，其變換公式為：

f0_new表示線性變換后的基頻信息，f0_x、μ_x和分別表示源說話人基頻信息、源說話人基頻信息的均值與方差，μ_y和分別表示目標說話人基頻信息的均值與方差。

5.如權(quán)利要求1或2所述的一種基于循環(huán)生成對抗網(wǎng)絡(luò)的語音轉(zhuǎn)換方法，其特征在于，所述步驟5中，所述的CycleGAN模型的訓(xùn)練指標由CycleGAN損失函數(shù)決定；其中CycleGAN的損失函數(shù)由三部分構(gòu)成，分別是對抗性損失、循環(huán)一致性損失和身份映射損失；對抗性損失表示為：

其中，表示期望,x表示源說話人語音數(shù)據(jù)，y表示目標說話人語音數(shù)據(jù)，x～P_Data(x)和y～P_Data(y)分別表示x和y來自源說話人數(shù)據(jù)集P_Data(x)和目標說話人數(shù)據(jù)集P_Data(y)。G_X→Y為生成器，表示從源說話人到目標說話人的的映射關(guān)系，輸入源說話人語音數(shù)據(jù)，生成的具有目標說話人特征的源說話人語音數(shù)據(jù)，D_Y表示鑒別器，用于判斷輸入的數(shù)據(jù)真實的y還是由生成器生成的虛假的數(shù)據(jù)；生成器G_X→Y試圖通過最小化對抗性損失來生成假數(shù)據(jù)，使得D_Y無法鑒別，而D_Y試圖通過最大化該損失而不被生成器G_X→Y欺騙；

循環(huán)一致性損失的表示為:

其中，表示期望，||·||₁為L1正則化，G_X→Y為生成器，表示從源說話人到目標說話人的的映射關(guān)系，輸入源說話人語音數(shù)據(jù)，生成的具有目標說話人特征的源說話人語音數(shù)據(jù)，G_Y→X為另一個生成器，表示從目標說話人到源說話人的映射關(guān)系，輸入目標說話人語音數(shù)據(jù)，生成具有源說話人特征的語音數(shù)據(jù)。

身份映射損失的表示為: