[發明專利]一種快速語音克隆方法

在審

• 申請號: 202110657034.8
• 申請日: 2021-06-12
• 公開（公告）號: CN113436607A
• 公開（公告）日: 2021-09-24
• 發明（設計）人: 趙莉;陳非凡;趙瑞霞;史嘉琪;許鶴馨
• 申請（專利權）人: 西安工業大學
• 主分類號: G10L13/08
• 分類號: G10L13/08;G10L13/10;G10L25/30;G10L15/16
• 代理公司: 西安賽嘉知識產權代理事務所(普通合伙) 61275
• 代理人: 王偉超

1.一種快速語音克隆方法，其特征在于，包括如下步驟：

步驟101、利用編碼器模塊獲取聲學特征；

步驟102、利用合成器模塊合成梅爾譜圖；

步驟103、利用聲碼器模塊將梅爾譜圖轉換成克隆語音。

2.如權利要求1所述的一種快速語音克隆方法，其特征在于：所述步驟101、利用編碼器模塊獲取聲學特征的具體過程是：

步驟201、將目標的音頻文件進行預處理后得到40維MFCC；

步驟202、將40維MFCC輸入到3層LSTM中，從中提取出聲學隱藏特征；

步驟203、將聲學隱藏特征輸入到全連接層中，對聲學特征進行歸類；

步驟204、將經過歸類的聲學特征進行縮放，并通過RELU層去除冗余數據，使目標的聲學特征稀疏化。

3.如權利要求2所述的一種快速語音克隆方法，其特征在于：所述聲學特征通過相似度矩陣進行表示：如下式(3)：

其中，第i個說話人的第j個語音定義為u_ij(1≤i≤N，1≤j≤M)，x_ij表示語音u_ij的對數梅爾頻譜圖，e_ij表示目標的特征，目標特征的均值定義為目標特征的質心c_i，如式(1)所示：

其中，排他性特征定義如下式(4):

4.如權利要求1所述的一種快速語音克隆方法，其特征在于：所述步驟102、利用合成器模塊合成梅爾譜圖的具體過程是：

步驟301、將步驟101獲取的聲學特征進行處理得到，prosody embedding(韻律嵌入)；

步驟302、將輸入文本轉化成的character embedding(文本表征)；

步驟303、將character embedding(文本表征)與聲學特征進行拼接后，依次進入卷積層、長短期記憶神經網絡層、location sensitive attention(基于位置的注意力)模塊后獲得固定長度的語境向量；

步驟304、將固定長度的語境向量進入自回歸循環的解碼器網絡，獲得梅爾譜圖的預測結果；

步驟305、將梅爾譜圖的預測結果進入prenet層，然后和location sensitiveattention(基于位置的注意力)模塊的結果一起進入LSTM層，得到LSTM層的結果；

步驟306、將LSTM層的結果和固定長度的語境向量做合并后通過linear projection預測目標的spectrogram(譜圖)；

步驟307、將目標的spectrogram(譜圖)進入post-net層來預測殘差，并加入步驟301提取的prosody embedding(韻律嵌入)共同進行預測，得到梅爾譜圖。

5.如權利要求1所述的一種快速語音克隆方法，其特征在于：所述步驟103、利用聲碼器模塊將梅爾譜圖轉換成克隆語音的具體過程是：

步驟401、將步驟102得到的合成梅爾譜圖作為輸入的語音，通過正交鏡像濾波器組分析器(QMF)得到分帶后的子帶信號H(ω)，如式(6)所示；

其中，x()為輸入的音頻序列，ω為數字角頻率。

步驟402、將得到的子帶信號，通過LPC(線性預測編碼)結構進行采樣；

步驟403、經過步驟402處理的采樣信號通過正交鏡像濾波器組合成器進行合并，輸出克隆語音。

6.如權利要求5所述的一種快速語音克隆方法，其特征在于：所述LPC(線性預測編碼)的運算如下式(10)：

其中，在t時間的激勵為e_t，生成的音頻為s_t,P是濾波器的階數，a_p是濾波器的系數；通過最小化真實信號與預測信號之間的均方誤差求a_p，其式為(11)所示：

7.如權利要求5所述的一種快速語音克隆方法，其特征在于：所述LPC(線性預測編碼)包括幀速率網絡、采樣速率網絡。