[發明專利]一種聲音變換系統、方法及應用

有效

• 申請號: 202011129857.5
• 申請日: 2020-10-21
• 公開（公告）號: CN112017644B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 司馬華鵬;毛志強;龔雪飛
• 申請（專利權）人: 南京硅基智能科技有限公司
• 主分類號: G10L15/06
• 分類號: G10L15/06;G10L15/02;G10L19/16;G10L25/24;G10L25/30
• 代理公司: 江蘇舜點律師事務所 32319
• 代理人: 杜東輝

本發明提出一種非平行語料訓練的語音轉換方案，擺脫對平行文本的依賴，解決在資源、設備有限的條件下難以實現語音轉換的技術問題,包括一種聲音變換系統、方法及所應的終端，與現有技術相比，具有以下優點：訓練好的說話人獨立的語音識別模型可用于任意的源說話人，即說話人獨立；音頻的瓶頸特征相比語音后驗概率特征更加抽象，既能反映說話內容并和說話人音色解耦，同時又和音素類別的綁定沒有那么緊密，不是明確的一一對應關系，一定程度上緩解了ASR識別錯誤導致發音不準的問題。使用瓶頸特征作聲音變換得到的音頻，發音的準確率明顯高于語音后驗概率方法，并且音色沒有顯著區別；利用遷移學習方式，可以大幅度縮小訓練語料的依賴。

技術領域

本發明涉及語音計算算法領域，尤其涉及一種聲音變換系統、方法及所應用的終端。

背景技術

隨著計算機技術的不斷發展，人工智能領域的不斷深耕，以語音交互為目的的語音機器人逐漸進入大眾視野當中。語音機器人的出現改變了現有電話業務的工作性質，目前語音機器人應用房產、教育、金融、旅游等行業中執行語音交互的功能，從而代替人工與用戶進行語音交互。

為優化客戶體驗，利用語音轉換技術變換語音機器人聲音特征是其中一個重要改進方向。

語音轉換技術是語音信號處理的一個研究分支，它涵蓋了說話人識別、語音識別及語音合成等領域的內容，擬在保留原有的語義信息不變的情況下改變語音的個性化信息，使特定說話人(即源說話人)的語音聽起來像另一個特定說話人(即目標說話人)的語音。語音轉換的主要任務包括提取兩個特定說話人語音的特征參數并進行映射轉換，然后將變換后的參數解碼重構成轉換后的語音。在此過程中要保證得到的轉換后語音的聽覺質量和轉換后個性特征是否精確。語音轉換技術的研究經過多年發展，語音轉換領域已經涌現出多種不同的方法，其中以高斯混合模型為代表的統計轉換方法已經成為該領域中的經典方法。但是這類算法還是存在某些缺陷，比如：使用高斯混合模型來進行語音轉換的經典方法多是基于一對一的語音轉換任務，要求源說話人和目標說話人使用的訓練語句內容相同，需將頻譜特征進行動態時間規整(Dynamic Time Warping，DTW)逐幀對齊，才能通過模型訓練得到頻譜特征間的映射關系，這樣的語音轉換方法在實際應用中不夠靈活；使用高斯混合模型來訓練映射函數時考慮的是全局變量并通過迭代訓練數據，導致計算量驟增，且只有在訓練數據充分時，高斯混合模型才能達到較好的轉換效果，這不適用于有限的計算資源和設備。

發明內容

為解決上述問題，本發明提出一種非平行語料訓練的語音轉換方案，擺脫對平行文本的依賴，可以在小樣本下實現變聲效果，解決在資源、設備有限的條件下難以實現語音轉換的技術問題。

本發明采用如下技術方案：

本發明的一個方面，提供一種變換系統，包括：

說話人獨立的語音識別模型，至少包括瓶頸層，所述說話人獨立的語音識別模型配置為，將輸入的源語音的梅爾倒譜特征通過所述瓶頸層變換為源語音的瓶頸特征；

注意力變聲網絡，其配置為，將源語音的瓶頸特征變換為與目標語音相符的梅爾倒譜特征；

神經網絡聲碼器，其配置為，將與目標語音相符的梅爾倒譜特征轉化為語音輸出。

進一步地，所述說話人獨立的語音識別模型配置為，將輸入的源語音的梅爾倒譜特征通過所述瓶頸層變換為源語音的瓶頸特征，并將所述源語音瓶頸特征由所述瓶頸層輸出至所述注意力變聲網絡。

本發明的第二個方面，提供一種聲音變換方法，包括：

把源語音的梅爾倒譜特征變換為源語音瓶頸特征；

把源語音的瓶頸特征變換為與目標語音相符的梅爾倒譜特征；

將與目標語音相符的梅爾倒譜特征轉化為語音輸出。

本發明的第三個方面，提供一種前述聲音變換系統的訓練方法，