[發(fā)明專利]語音合成方法、裝置、可讀介質及電子設備有效
| 申請?zhí)枺?/td> | 202010197181.7 | 申請日： | 2020-03-19 |
| 公開（公告）號： | CN111429881B | 公開（公告）日： | 2023-08-18 |
| 發(fā)明（設計）人： | 殷翔;顧宇 | 申請（專利權）人： | 北京字節(jié)跳動網(wǎng)絡技術有限公司 |
| 主分類號： | G10L13/04 | 分類號： | G10L13/04;G10L13/047;G10L13/033;G10L25/18;G10L25/30 |
| 代理公司： | 北京英創(chuàng)嘉友知識產權代理事務所(普通合伙) 11447 | 代理人： | 曹寒梅 |
| 地址： | 100041 北京市石景山區(qū)*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 語音 合成 方法 裝置 可讀 介質 電子設備 | ||
1.一種語音合成方法，其特征在于，所述方法包括：
獲取用戶輸入的待復制聲音和目標模板，所述待復制聲音為由用戶發(fā)音的任意長度的聲音片段；
從所述待復制聲音中提取得到待復制頻譜數(shù)據(jù)；
確定與所述目標模板對應的模板文字信息；
根據(jù)所述待復制頻譜數(shù)據(jù)和所述模板文字信息確定與所述目標模板和所述待復制聲音中的音色對應的目標頻譜數(shù)據(jù)；
將所述目標頻譜數(shù)據(jù)合成為目標語音波形數(shù)據(jù)；
所述根據(jù)所述待復制頻譜數(shù)據(jù)和所述模板文字信息確定與所述目標模板和所述待復制聲音中的音色對應的目標頻譜數(shù)據(jù)包括：
通過預設神經網(wǎng)絡聲學模型來根據(jù)所述待復制頻譜數(shù)據(jù)和所述模板文字信息確定與所述目標模板和所述待復制聲音中的音色對應的目標頻譜數(shù)據(jù)；
其中，所述預設神經網(wǎng)絡聲學模型中包括預設轉換子模型；所述預設轉換子模型用于：
以與待復制頻譜數(shù)據(jù)對應的目標說話人表征向量與模板文字信息為輸入，并以待復制頻譜數(shù)據(jù)為輸出；或者，以待復制頻譜數(shù)據(jù)中的目標說話人表征與模板文字信息為輸入，并以目標頻譜數(shù)據(jù)為輸出。
2.根據(jù)權利要求1所述的方法，其特征在于，所述通過預設神經網(wǎng)絡聲學模型來根據(jù)所述待復制頻譜數(shù)據(jù)和所述模板文字信息確定與所述目標模板和所述待復制聲音中的音色對應的目標頻譜數(shù)據(jù)包括：
根據(jù)所述待復制頻譜數(shù)據(jù)和所述模板文字信息對所述預設神經網(wǎng)絡聲學模型進行訓練，以得到與所述待復制頻譜數(shù)據(jù)對應的目標神經網(wǎng)絡聲學模型；
將所述模板文字信息作為所述目標神經網(wǎng)絡聲學模型的輸入以得到所述目標頻譜數(shù)據(jù)。
3.根據(jù)權利要求2所述的方法，其特征在于，所述預設神經網(wǎng)絡聲學模型中還包括預設說話人確認網(wǎng)絡子模型，所述根據(jù)所述待復制頻譜數(shù)據(jù)和所述模板文字信息對所述預設神經網(wǎng)絡聲學模型進行訓練，以得到與所述待復制頻譜數(shù)據(jù)對應的目標神經網(wǎng)絡聲學模型包括：
將所述待復制頻譜數(shù)據(jù)作為所述預設說話人確認網(wǎng)絡子模型的輸入，以提取與所述待復制頻譜數(shù)據(jù)對應的目標說話人表征向量；
將所述目標說話人表征向量與所述模板文字信息作為所述預設轉換子模型的輸入，并將所述待復制頻譜數(shù)據(jù)作為所述轉換子模型的輸出以進行訓練，以得到所述目標神經網(wǎng)絡聲學模型。
4.根據(jù)權利要求1所述的方法，其特征在于，所述預設神經網(wǎng)絡聲學模型中還包括預設說話人語音特征編碼模塊，所述通過預設神經網(wǎng)絡聲學模型來根據(jù)所述待復制頻譜數(shù)據(jù)和所述模板文字信息確定與所述目標模板和所述待復制聲音中的音色對應的目標頻譜數(shù)據(jù)包括：
通過所述預設說話人語音特征編碼模塊得到所述待復制頻譜數(shù)據(jù)中的目標說話人表征；
將所述目標說話人表征與所述模板文字信息作為所述預設轉換子模型的輸入，以得到所述目標頻譜數(shù)據(jù)。
5.根據(jù)權利要求1至4中任一權利要求所述的方法，其特征在于，在所述目標模板為歌曲模板的情況下，所述模板文字信息中至少包括歌詞音素信息和音樂信息。
6.根據(jù)權利要求5所述的方法，其特征在于，所述音樂信息中至少包括音調信息，所述確定與所述目標模板對應的模板文字信息包括：
從所述待復制聲音中提取基頻數(shù)據(jù)；
根據(jù)所述基頻數(shù)據(jù)對所述目標模板中的音調信息進行調整；
將包括調整后的音調信息的模板文字信息作為所述目標模板的所述模板文字信息。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京字節(jié)跳動網(wǎng)絡技術有限公司，未經北京字節(jié)跳動網(wǎng)絡技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010197181.7/1.html，轉載請聲明來源鉆瓜專利網(wǎng)。
