[發明專利]語音轉換方法、電子裝置及計算機可讀存儲介質

在審

• 申請號: 202010063801.8
• 申請日: 2020-01-19
• 公開（公告）號: CN111261177A
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 馬坤;趙之硯;施奕明
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G10L21/013
• 分類號: G10L21/013;G10L25/03;G10L25/18;G10L25/24
• 代理公司: 深圳市沃德知識產權代理事務所(普通合伙) 44347
• 代理人: 高杰;于志光

1.一種語音轉換方法，適用于電子裝置，其特征在于，該方法包括：

步驟S1，接收用戶通過客戶端發出的語音轉換指令，所述語音轉換指令中包括待轉換的真實語音及目標音色；

步驟S2，從所述真實語音中提取出第一聲學特征，將所述真實語音的第一聲學特征輸入預先訓練好的與所述目標音色對應的第一轉換模型進行音色轉換，輸出所述真實語音的與所述目標音色對應的第二聲學特征；

步驟S3，基于所述第二聲學特征，構建與所述目標音色對應的有關所述真實語音的第一頻譜圖；

步驟S4，將所述第一頻譜圖輸入預先訓練好的第二轉換模型進行音質轉換，輸出與所述目標音色對應的有關所述真實語音的第二頻譜圖；及

步驟S5，基于語音重建算法對所述第二頻譜圖進行還原，得到與所述目標音色對應的有關所述真實語音的目標語音，并通過所述客戶端將所述目標語音反饋給用戶。

2.根據權利要求1所述的語音轉換方法，其特征在于，所述從所述真實語音中提取出第一聲學特征，包括：

計算所述真實語音中的第一預設聲學相關特征及第二預設聲學相關特征；

對所述第二預設聲學相關特征進行轉換，得到轉換后的第二預設聲學相關特征；及

基于所述第一預設聲學相關特征及所述轉換后的第二預設聲學相關特征，組合生成所述第一聲學特征。

3.根據權利要求1所述的語音轉換方法，其特征在于，所述基于所述第二聲學特征，構建與所述目標音色對應的有關所述真實語音的第一頻譜圖，包括：

對所述第二聲學特征進行拆分，得到所述第二聲學特征對應的第三預設聲學相關特征及第四預設聲學相關特征；

對所述第四預設聲學相關特征進行轉換，得到轉換后的第四預設聲學相關特征；及

將所述轉換后的第四預設聲學相關特征作為所述第一頻譜圖。

4.根據權利要求1所述的語音轉換方法，其特征在于，所述基于語音重建算法對所述第二頻譜圖進行還原，得到與所述目標音色對應的有關所述真實語音的目標語音，包括：

獲取所述第二聲學特征的第三預設聲學相關特征；

利用預設語音重建算法對所述第三預設聲學相關特征及所述第二頻譜圖進行合成，生成所述第二頻譜圖對應的語音信號；及

將所述第二頻譜圖對應的語音信號作為與所述目標音色對應的有關所述真實語音的目標語音。

5.根據權利要求1至4中任意一項所述的語音轉換方法，其特征在于，所述第一聲學特征為組合特征向量，包括所述真實語音的基頻、非周期信息、頻譜包絡，所述第二聲學特征為所述第一聲學特征經過音色轉換得到的聲學特征。

6.根據權利要求5所述的語音轉換方法，其特征在于，所述第一預設聲學相關特征包括所述真實語音的基頻、非周期信息；所述第二預設聲學相關特征包括所述真實語音的頻譜包絡；所述轉換后的第二預設聲學相關特征為所述真實語音的頻譜包絡對應的梅爾倒譜。

7.根據權利要求6所述的語音轉換方法，其特征在于，所述第一轉換模型為一維pix2pix模型，所述第一轉換模型的訓練步驟包括：

獲取第一預設數量的原說話人和目標說話人的語音數據對；

分別提取所述第一預設數量的語音數據對中各語音數據的聲學特征，生成第一預設數量的聲學特征對，作為樣本數據；

將所述樣本數據按照預設比例劃分為訓練集及驗證集，利用所述訓練集對所述一維pix2pix模型進行訓練；

計算所述一維pix2pix模型的loss值，當loss值滿足預設條件時訓練結束，確定所述一維pix2pix模型為所述目標說話人對應的第一轉換模型。