[發(fā)明專利]一種基于循環(huán)生成對抗網絡的語音轉換方法

在審

• 申請?zhí)枺?/td>: 201910669055.4
• 申請日: 2019-07-24
• 公開（公告）號: CN110459232A
• 公開（公告）日: 2019-11-15
• 發(fā)明（設計）人: 吳哲夫;陳明達
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: G10L21/007
• 分類號: G10L21/007
• 代理公司: 33241 杭州斯可睿專利事務所有限公司
• 代理人: 王利強<國際申請>=<國際公布>=<進入

一種基于循環(huán)生成對抗網絡的語音轉換方法，獲取源說話人與目標說話人的語料庫并將所有的音頻統一為固定比特；按照設定的比例分成訓練集、測試集和驗證集；使用WORLD模型分別從源說話人和目標說話人訓練集語音中提取平滑功率譜參數sp；將sp送入到CycleGAN模型中訓練；模型訓練完成之后使用WORLD模型從源說話人和目標說話人的驗證集語音當中提取基頻信息f0、非周期分量ap和平滑功率譜參數sp，并對f0做線性變換，ap不做任何處理，sp傳入訓練好的CycleGAN模型當中轉換并輸出；合成語音轉換后的音頻。本發(fā)明改善先前技術中語音轉換的質量，并且無需并行數據集就可以實現高質量的語音轉換。

技術領域

本發(fā)明涉及語音轉換技術，特別是一種基于循環(huán)生成對抗網絡的語音轉換方 法。

背景技術

語音轉換是一種用于修改源說話者語音信號以匹配目標說話者語音信號的技術，使之具有目標說話人的語音特征但同時保持語音信息不變。語音轉換的主要 任務包括提取代表說話人個性的特征參數并進行轉換，然后將轉換之后的參數重 構成語音。這一過程既要保證轉換后語音的清晰度，又要保證轉換后語音特征的 相似度。

語音轉換的目標是找到源說話人和目標說話人的語音特征之間的映射。矢量 量化，高斯混合模型和人工神經網絡都是典型的語音轉換方法。但是包括上述方 法在內的很多方法都需要使用源和目標說話人的時間對齊的并行數據作為訓練數 據。但是對齊的過程也耗費了時間，并且對齊也不是完全正確的，在對齊的過程 中可能還會引入別的錯誤。

在非并行的語音數據中，訓練數據由不同的語言內容組成，因為不共享語言 特征，因此自動匹配兩個說話人的語音特征便更加困難。

發(fā)明內容

為了克服已有語音轉換方法的質量較低的不足,本發(fā)明提供了一種基于循環(huán) 生成對抗網絡的語音轉換方法，目的是改善先前技術中語音轉換的質量，并且無 需并行數據集就可以實現高質量的語音轉換。

本發(fā)明解決其技術問題所采用的技術方案是：

一種基于循環(huán)生成對抗網絡的語音轉換方法，包括以下步驟：

步驟1：獲取源說話人與目標說話人的語料庫并將所有的音頻統一為固定比 特；

步驟2：按照設定的比例分別將源說話人與目標說話人的數據集分成訓練集、 測試集和驗證集；

步驟3：使用WORLD模型分別從源說話人和目標說話人訓練集語音中提取 平滑功率譜參數sp；

步驟4：將源說話者和目標說話者的功率譜參數sp送入到CycleGAN模型中 訓練；

步驟5：模型訓練完成之后使用WORLD模型從源說話人和目標說話人的驗 證集語音當中提取基頻信息f0、非周期分量ap和平滑功率譜參數sp，并對f0做 線性變換，ap不做任何處理，sp傳入訓練好的CycleGAN模型當中轉換并輸出；

步驟6：使用WORLD將步驟5中的f0、ap和sp合成語音轉換后的音頻， 若轉換效果良好，音質清晰，則保存訓練好的CycleGAN模型；

步驟7：使用WORLD提取源說話人測試集語音的基頻信息f0、非周期分量 ap和平滑功率譜參數sp。對f0做與步驟5相同的線性變換，ap不做任何處理， sp傳入步驟6保存好的CycleGAN模型中進行轉換；

步驟8：使用WORLD將步驟7中的f0、ap和sp合成語音并輸出。

進一步，所述步驟4中，功率譜參數送入CycleGAN之前，需要使用WORLD 對其進行編碼，降低維度之后再傳入網絡模型。

再進一步，所述步驟5中,sp傳入訓練好的CycleGAN網絡模型進行轉換輸出 之后，要對sp進行解碼操作，以恢復之前的維度。