[發明專利]一種基于語譜圖合成的語音轉換方法

在審

• 申請號: 202011102941.8
• 申請日: 2020-10-15
• 公開（公告）號: CN112259086A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 簡志華;朱雅楠;于佳祺;韋鳳瑜;徐嘉;吳超;劉二小
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G10L15/16
• 分類號: G10L15/16;G10L13/02;G10L15/06;G10L15/26;G10L25/30
• 代理公司: 浙江千克知識產權代理有限公司 33246
• 代理人: 周希良

本發明公開了一種基于語譜圖合成的語音轉換方法，包括：S1.將源語音和目標語音的語譜圖分解為內容語譜圖和說話人語譜圖，并將內容語譜圖和說話人語譜圖分別輸入超深度卷積神經網絡中進行處理，分別得到語義內容信息和說話人身份信息；S2.將得到的語義內容信息和說話人身份信息映射到特征空間，分別得到語義內容信息和說話人身份信息的特征矩陣直方圖；S3.將得到的語義內容信息和說話人身份信息的特征矩陣直方圖輸入直方圖匹配HdaIN層中進行匹配，得到目標特征矩陣；S4.基于生成框架將得到的目標特征矩陣轉換為目標語譜圖；S5.將轉換得到的目標語譜圖通過生成對抗網絡轉換為語音波形輸出。

技術領域

本發明涉及語音轉換技術領域，尤其涉及一種基于語譜圖合成的語音轉換方法。

背景技術

語音轉換技術是指將源說話人的身份信息轉換為目標說話人的身份信息，同時保持語音內容不變，簡單地說就是將一個說話人(稱之為源)的聲音，通過某種手段進行變換，使其聽起來仿佛是另一個說話人(稱之為目標)說的話。語音轉換屬于交叉性的學科分支，其內容既涉及到語音學、語義學及心理聲學等領域的知識，又涵蓋語音信號處理領域的各個方面，如語音的分析與合成、說話人識別、語音編碼和增強等?，F階段，語音轉換技術在醫療服務、保密通信及生活娛樂的方面有著非常重要的應用。目前，語音轉換可以大致分為兩類，一類是受監督的，另一類是無監督的。受監督的語音轉換已經取得了較好的成果，但是需要源語音與目標語音之間相應語音幀對齊，如果源語音與目標語音之間有巨大差異，就無法達到較好的轉換效果，這也限制了其應用推廣。

因此，本發明提出一種基于語譜圖合成的語音轉換方法。

發明內容

本發明的目的是針對現有技術的缺陷，提供了一種基于語譜圖合成的語音轉換方法。

為了實現以上目的，本發明采用以下技術方案：

一種基于語譜圖合成的語音轉換方法，包括：

S1.將源語音和目標語音的語譜圖分解為內容語譜圖和說話人語譜圖，并將內容語譜圖和說話人語譜圖分別輸入超深度卷積神經網絡中進行處理，分別得到內容語譜圖的語義內容信息和說話人語譜圖的說話人身份信息；

S2.將得到的語義內容信息和說話人身份信息映射到特征空間，分別得到語義內容信息的特征矩陣直方圖和說話人身份信息的特征矩陣直方圖；

S3.將得到的語義內容信息的特征矩陣直方圖和說話人身份信息的特征矩陣直方圖輸入直方圖匹配HdaIN層中進行匹配，得到目標特征矩陣；

S4.基于生成框架將得到的目標特征矩陣轉換為目標語譜圖，其中，轉換后的目標語譜圖包括內容語譜圖的語義內容信息和說話人語譜圖的說話人身份信息；

S5.將轉換得到的目標語譜圖通過生成對抗網絡轉換為語音波形輸出。

進一步的，所述步驟S1具體為：

將源語音的語譜圖C和目標語音的語譜圖S分別作為內容語譜圖和說話人語譜圖輸入超深度卷積神經VGG網絡中，超深度卷積神經VGG網絡從源語音的語譜圖C中提取語義內容信息，從目標語音的語譜圖S中提取說話人身份信息，分別得到內容語譜圖的語義內容信息和說話人語譜圖的說話人身份信息。

進一步的，所述步驟S2具體為：

分別對語義內容信息和說話人身份信息進行編碼，得到與語義內容信息和說話人身份信息對應的語義內容信息的特征矩陣f(c)和說話人身份信息的特征矩陣f(s)。

進一步的，所述步驟S3具體為：

將得到的語義內容信息的特征矩陣f(c)和說話人身份信息的特征矩陣f(s)饋送到通過直方圖匹配的HdaIN層，HdaIN層將語義內容信息的特征矩陣f(c)和說話人身份信息的特征矩陣f(s)進行匹配，從而獲得目標特征矩陣，表示為：