[發明專利]基于自適應高斯聚類的非平行文本條件下的語音轉換方法

有效

• 申請號: 201710474281.8
• 申請日: 2017-06-21
• 公開（公告）號: CN107301859B
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 李燕萍;左宇濤
• 申請（專利權）人: 南京郵電大學
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L15/06;G10L15/07;G10L15/14;G10L17/02;G10L21/007;G10L25/51;G10L19/032
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

本發明公開了一種基于自適應高斯聚類的非平行文本條件下的語音轉換方法，屬于語音信號處理技術領域。首先利用基于單元挑選和聲道長度歸一化相結合的方法對非平行語料進行語音特征參數對齊，然后進行自適應高斯混合模型和雙線性頻率彎折加幅度調節的訓練，得到語音轉換所需的轉換函數，最后使用該轉換函數實現高質量的語音轉換。本發明不僅克服了訓練階段要求平行語料的限制，實現了非平行文本條件下的語音轉換，適用性和通用性更強，而且使用自適應高斯混合模型替代傳統高斯混合模型，解決了高斯混合模型在進行語音特征參數分類時不精確的問題，并將自適應高斯混合模型和雙線性頻率彎折加幅度調節相結合，在轉換的個性相似度和語音質量上更好。

技術領域

本發明涉及一種語音轉換技術，尤其是一種非平行文本條件下的語音轉換方法，屬于語音信號處理技術領域。

背景技術

語音轉換是語音信號處理領域近年來新興的研究分支，是在語音分析、識別和合成的研究基礎上進行的，同時在此基礎上發展起來的。

語音轉換的目標是改變源說話人的語音個性特征，使之具有目標說話人的語音個性特征，也就是使一個人說的語音經過轉換后聽起來像是另一個人說的語音，同時保留語義。

大多數的語音轉換方法，尤其是基于GMM的語音轉換方法，要求用于訓練的語料庫是平行文本的，即源說話人和目標說話人需要發出語音內容、語音時長相同的句子，并且發音節奏和情緒等盡量一致。然而在語音轉換的實際應用中，獲取大量的平行語料殊為不易，甚至無法滿足，此外訓練時語音特征參數矢量對齊的精確度也成為語音轉換系統性能的一種制約。無論從語音轉換系統的通用性還是實用性來考慮，非平行文本條件下語音轉換方法的研究都具有極大的實際意義和應用價值。

目前非平行文本條件下的語音轉換方法主要有兩種，基于語音聚類的方法和基于參數自適應的方法。基于語音聚類的方法，是通過對語音幀之間距離的度量或者在音素信息的指導下選擇相對應的語音單元進行轉換，其本質是一定條件下將非平行文本轉化為平行文本進行處理。該方法原理簡單，但要對語音文本內容進行預提取，預提取的結果會直接影響語音的轉換質量。基于參數自適應的方法，是采用語音識別中的說話人歸一化或自適應方法對轉換模型的參數進行處理，其本質是使得預先建立的模型向基于目標說話人的模型進行轉化。該方法能合理地利用預存儲的說話人信息，但通常自適應過程會引起頻譜的平滑，導致轉換語音中的說話人個性信息不強。

發明內容

本發明所要解決的技術問題是：提供一種在非平行文本條件下，能夠根據目標說話人的不同，而自適應地確定GMM混合度的語音轉換方法，達到增強轉換語音中說話人個性特征的同時改善轉換語音的質量。

本發明為解決上述技術問題采用以下技術方案：

本發明提出一種基于自適應高斯聚類的非平行文本條件下的語音轉換方法，包括訓練階段和轉換階段，其中所述訓練階段包括如下步驟：

步驟1，輸入源說話人和目標說話人的非平行訓練語料；

步驟2，使用AHOcoder語音分析模型分別提取源說話人的非平行訓練語料的MFCC特征參數X、目標說話人的非平行訓練語料的MFCC特征參數Y，以及源語音基頻log f_0X和目標語音基頻log f_0Y；

步驟3，對步驟2中的MFCC特征參數X、Y，進行單元挑選和聲道長度歸一化相結合的語音特征參數對齊和動態時間規整，從而將非平行語料轉變成平行語料；

步驟4，使用期望最大化EM算法進行自適應混合高斯模型AGMM訓練，AGMM訓練結束，得到后驗條件概率矩陣P(X|λ)，并保存AGMM參數λ；