[發(fā)明專利]一種聲音變換系統(tǒng)、方法及應(yīng)用

有效

• 申請?zhí)枺?/td>: 202011129857.5
• 申請日: 2020-10-21
• 公開（公告）號: CN112017644B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計）人: 司馬華鵬;毛志強;龔雪飛
• 申請（專利權(quán)）人: 南京硅基智能科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L19/16;G10L25/24;G10L25/30
• 代理公司: 江蘇舜點律師事務(wù)所 32319
• 代理人: 杜東輝

1.一種聲音變換系統(tǒng)，包括：

說話人獨立的語音識別模型，至少包括瓶頸層，所述說話人獨立的語音識別模型配置為，將輸入的源語音的梅爾倒譜特征通過所述瓶頸層變換為源語音的瓶頸特征，并將所述源語音瓶頸特征由所述瓶頸層輸出至注意力變聲網(wǎng)絡(luò);

所述說話人獨立的語音識別模型的訓(xùn)練方法包括：

把多人語音識別訓(xùn)練語料中的文字轉(zhuǎn)換成的字符編碼的編號和多人語音識別訓(xùn)練語料的梅爾倒譜特征一起輸入說話人獨立的語音識別模型，運行反向傳播算法進行迭代優(yōu)化，直到說話人獨立的語音識別模型收斂；

注意力變聲網(wǎng)絡(luò)，其配置為，將源語音的瓶頸特征變換為與目標語音相符的梅爾倒譜特征；

神經(jīng)網(wǎng)絡(luò)聲碼器，其配置為，將與目標語音相符的梅爾倒譜特征轉(zhuǎn)化為語音輸出。

2.一種聲音變換方法，其特征在于，包括以下步驟：

說話人獨立的語音識別模型將輸入的源語音的梅爾倒譜特征通過瓶頸層變換為源語音的瓶頸特征，并將所述源語音瓶頸特征由瓶頸層輸出至注意力變聲網(wǎng)絡(luò);

所述說話人獨立的語音識別模型的訓(xùn)練方法包括：

把多人語音識別訓(xùn)練語料中的文字轉(zhuǎn)換成的字符編碼的編號和多人語音識別訓(xùn)練語料的梅爾倒譜特征一起輸入說話人獨立的語音識別模型，運行反向傳播算法進行迭代優(yōu)化，直到說話人獨立的語音識別模型收斂；

注意力變聲網(wǎng)絡(luò)將源語音的瓶頸特征變換為與目標語音相符的梅爾倒譜特征；

神經(jīng)網(wǎng)絡(luò)聲碼器將與目標語音相符的梅爾倒譜特征轉(zhuǎn)化為語音輸出。

3.一種聲音變換系統(tǒng)的訓(xùn)練方法，其應(yīng)用于訓(xùn)練權(quán)利要求1所述的聲音變換系統(tǒng)，其特征在于，所述說話人獨立的語音識別模型的訓(xùn)練方法包括：

把多人語音識別訓(xùn)練語料中的文字轉(zhuǎn)換成的字符編碼的編號和多人語音識別訓(xùn)練語料的梅爾倒譜特征一起輸入說話人獨立的語音識別模型，運行反向傳播算法進行迭代優(yōu)化，直到說話人獨立的語音識別模型收斂。

4.根據(jù)權(quán)利要求3所述的一種聲音變換系統(tǒng)的訓(xùn)練方法，其特征在于，所述說話人獨立的語音識別模型的訓(xùn)練方法還包括：對所述多人語音識別訓(xùn)練語料進行多人語音識別訓(xùn)練語料預(yù)處理，所述多人語音識別訓(xùn)練語料預(yù)處理包括去空白和歸一化。

5.一種聲音變換系統(tǒng)的訓(xùn)練方法，其應(yīng)用于訓(xùn)練權(quán)利要求1所述的聲音變換系統(tǒng)，其特征在于，所述注意力變聲網(wǎng)絡(luò)的訓(xùn)練方法包括：

將目標語音的梅爾倒譜特征變換為目標語音的瓶頸特征；

把目標語音的瓶頸特征輸入基礎(chǔ)注意力變聲網(wǎng)絡(luò)，以目標說話人對應(yīng)的梅爾倒譜特征作為真實值，用深度遷移學(xué)習(xí)的方法訓(xùn)練注意力變聲網(wǎng)絡(luò)。

6.根據(jù)權(quán)利要求5所述的一種聲音變換系統(tǒng)的訓(xùn)練方法，其特征在于，將目標語音的梅爾倒譜特征變換為目標語音的瓶頸特征的步驟，使用預(yù)先訓(xùn)練的說話人獨立的語音識別模型實現(xiàn)。

7.一種聲音變換系統(tǒng)的訓(xùn)練方法，其應(yīng)用于訓(xùn)練權(quán)利要求1所述的聲音變換系統(tǒng)，其特征在于，所述神經(jīng)網(wǎng)絡(luò)聲碼器的訓(xùn)練方法包括：

把目標語音的梅爾倒譜特征和目標語音的聲音信號輸入預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)聲碼器，用深度遷移學(xué)習(xí)的方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)聲碼器。

8.根據(jù)權(quán)利要求5-7之一所述的一種聲音變換系統(tǒng)的訓(xùn)練方法，其特征在于，所述聲音變換系統(tǒng)的訓(xùn)練方法還包括：對目標語音進行目標語音預(yù)處理，目標語音預(yù)處理包括去空白和歸一化。

9.根據(jù)權(quán)利要求3-7之一所述的一種聲音變換系統(tǒng)的訓(xùn)練方法，其特征在于，所述訓(xùn)練方法還包括：參數(shù)提取，以取得多人語音識別訓(xùn)練語料的梅爾倒譜特征、目標語音的梅爾倒譜特征或源語音的梅爾倒譜特征。

10.一種終端，其特征在于，包括權(quán)利要求1所述的聲音變換系統(tǒng)。

11.一種計算機可讀的存儲介質(zhì)，其特征在于，所述計算機可讀的存儲介質(zhì)中存儲有計算機程序，其中，所述計算機程序被設(shè)置為運行時執(zhí)行所述權(quán)利要求3至7任一項中所述的方法。