[發(fā)明專利]一種將文本轉(zhuǎn)換成語音的方法、系統(tǒng)、裝置和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010079855.3
• 申請日: 2020-02-04
• 公開（公告）號: CN111145720B
• 公開（公告）日: 2022-06-21
• 發(fā)明（設(shè)計）人: 葉俊杰;李權(quán);王倫基;黃桂芳;任勇;韓藍青
• 申請（專利權(quán)）人: 清華珠三角研究院;賽業(yè)（廣州）生物科技有限公司
• 主分類號: G10L13/02
• 分類號: G10L13/02;G10L13/033;G10L25/24;G10L25/03;G10L25/30;G10L25/60
• 代理公司: 廣州嘉權(quán)專利商標事務(wù)所有限公司 44205
• 代理人: 何文聰

本發(fā)明公開了一種將文本轉(zhuǎn)換成語音的方法、系統(tǒng)、裝置和存儲介質(zhì)，所述方法包括獲取測試文本和待遷移語音，獲取所述測試文本的發(fā)音編碼，使用經(jīng)過訓練的語音風格編碼器，獲取所述待遷移語音的風格編碼，將所述發(fā)音編碼和風格編碼進行拼接，以及使用語音解碼器對所述拼接的結(jié)果進行解碼從而獲得語音等步驟。通過使用語音風格編碼器，可以提取待遷移語音的風格，然后將其融入到測試文本的發(fā)音中，使得最終獲得的語音具有與測試文本相同的內(nèi)容，以及與待遷移語音相同的風格，實現(xiàn)從文本到具有一定風格的語音的轉(zhuǎn)換。并且，本發(fā)明可以較低成本取得訓練集，用于對所述語音風格編碼器進行訓練，從而降低使用成本。本發(fā)明廣泛應用于語音數(shù)據(jù)技術(shù)領(lǐng)域。

技術(shù)領(lǐng)域

本發(fā)明涉及語音數(shù)據(jù)技術(shù)領(lǐng)域，尤其是一種將文本轉(zhuǎn)換成語音的方法、系統(tǒng)、裝置和存儲介質(zhì)。

背景技術(shù)

在計算機和新聞傳播等領(lǐng)域，廣泛存在著將計算機自動生成的或外部輸入到計算機的文字文本轉(zhuǎn)換成流利易懂的語音信息的需求。現(xiàn)有的文本轉(zhuǎn)語音技術(shù)(TTS技術(shù))主要是基于端到端的神經(jīng)網(wǎng)絡(luò)模型來實現(xiàn)的，可以實現(xiàn)對同一文本所輸出語音的風格進行控制，但是，如果要將這一優(yōu)勢擴展到對多種不同語言的支持，依賴于使用完善的訓練樣本去對神經(jīng)網(wǎng)絡(luò)模型進行訓練。所述完善的訓練樣本是指，訓練樣本中的語音來自多個不同的說話者，每個說話者分別使用不同語言說出這些語音；而如果屬于不同語言的語音分別來自不同的說話者，將由于語言與說話者身份的強相關(guān)性，使得訓練樣本的質(zhì)量下降，達不到所要的訓練效果。而現(xiàn)實中，即使是熟練使用兩種語言的人也不多，熟練使用三種以上語言的人更是稀缺，因此獲得完善的訓練樣本的成本極高，制約了現(xiàn)有文本轉(zhuǎn)語音技術(shù)的發(fā)展，使得現(xiàn)有技術(shù)難以較低成本實現(xiàn)將混合多種不同語言的文本轉(zhuǎn)換成語音，并隨意控制語音風格的功能。

發(fā)明內(nèi)容

針對上述至少一個技術(shù)問題，本發(fā)明的目的在于提供一種將文本轉(zhuǎn)換成語音的方法、系統(tǒng)、裝置和存儲介質(zhì)。

一方面，本發(fā)明實施例包括一種將文本轉(zhuǎn)換成語音的方法，包括：

獲取測試文本和待遷移語音；

獲取所述測試文本的發(fā)音編碼；

使用經(jīng)過訓練的語音風格編碼器，獲取所述待遷移語音的風格編碼；

將所述發(fā)音編碼和風格編碼進行拼接；

使用語音解碼器對所述拼接的結(jié)果進行解碼，從而獲得語音。

進一步地，所述獲取所述測試文本的發(fā)音編碼這一步驟，包括：

對所述測試文本進行分句和分詞處理；

將所述測試文本中的數(shù)字轉(zhuǎn)換成以預設(shè)的主語言表達的形式；

將所述測試文本中的小寫字母轉(zhuǎn)換成相應的大寫字母；

將所述測試文本中的各詞語轉(zhuǎn)換成所屬語言的相應拼音字符；

向所述測試文本中的相鄰各詞語之間添加分隔符；所述分隔符的形式與其所分隔的詞語所屬的語言相關(guān)；

將所述測試文本輸入到基于注意力機制的自編碼模型中，接收所述自編碼模型輸出的所述發(fā)音編碼。

進一步地，所述將所述測試文本的各詞語轉(zhuǎn)換成所述語言的相應拼音字符這一步驟，包括：

對所述測試文本的各詞語所屬語言進行識別；

將屬于中文的詞語轉(zhuǎn)換成相應的現(xiàn)代拼音字母；

將屬于英文的詞語轉(zhuǎn)換成相應的CMU發(fā)音字符。

進一步地，所述方法還包括以下用于對所述語音風格編碼器進行訓練的步驟：

建立訓練集；所述訓練集中包括多段分別由不同人使用不同語言講述的樣本語音；

將各所述樣本語音逐個輸入到所述語音風格編碼器；