[發(fā)明專利]語音合成方法、裝置和計(jì)算機(jī)存儲(chǔ)介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110264110.9
• 申請日: 2021-03-11
• 公開（公告）號(hào): CN112687258B
• 公開（公告）日: 2021-07-09
• 發(fā)明（設(shè)計(jì)）人: 智鵬鵬;楊嵩
• 申請（專利權(quán)）人: 北京世紀(jì)好未來教育科技有限公司
• 主分類號(hào): G10L13/027
• 分類號(hào): G10L13/027;G10L13/08;G10L19/02;G06K9/20;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京合智同創(chuàng)知識(shí)產(chǎn)權(quán)代理有限公司 11545
• 代理人: 李杰

1.一種語音合成方法，其特征在于，包括：

獲取待合成的混合序列，其中，所述混合序列包括待合成文本和待合成圖形，所述待合成圖形包括圖形文本和圖形公式中的至少一個(gè)；

將所述混合序列所包括的所述待合成文本和所述待合成圖形分離；

將所述待合成圖形輸入圖形識(shí)別模型，識(shí)別所述圖形文本所包括的識(shí)別文本，并將所述圖形公式識(shí)別為LaTeX字符；

根據(jù)所述圖形文本和所述圖形公式在所述混合序列中的位置，對所述待合成文本、所述識(shí)別文本和所述LaTeX字符進(jìn)行合并，獲得文本序列；

將所述文本序列輸入語音合成模型，通過所述語音合成模型將所述文本序列轉(zhuǎn)換為音頻；

所述將所述待合成圖形輸入圖形識(shí)別模型，識(shí)別所述圖形文本所包括的識(shí)別文本，并將所述圖形公式識(shí)別為LaTeX字符，包括：

通過所述圖形識(shí)別模型包括的卷積神經(jīng)網(wǎng)絡(luò)CNN部分，提取所述待合成圖形的特征圖；

將所述特征圖的每一列作為一個(gè)時(shí)間片，輸入所述圖形識(shí)別模型包括的循環(huán)神經(jīng)網(wǎng)絡(luò)RNN部分，獲得用于表征文本序列特征的序列特征矩陣；

將所述序列特征矩陣輸入softmax函數(shù)，獲得后驗(yàn)概率矩陣；

根據(jù)所述后驗(yàn)概率矩陣，確定所述圖形文本所包括的識(shí)別文本或所述圖形公式對應(yīng)的LaTeX字符。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述根據(jù)所述后驗(yàn)概率矩陣，確定所述圖形文本所包括的識(shí)別文本或所述圖形公式對應(yīng)的LaTeX字符，包括：

分別將所述后驗(yàn)概率矩陣的每一列輸入argmax函數(shù)，獲得所述argmax函數(shù)的輸出結(jié)果；

針對所述后驗(yàn)概率矩陣的每一列，根據(jù)所述argmax函數(shù)的輸出結(jié)果，確定所述待合成圖形中對應(yīng)列區(qū)域的字符；

根據(jù)所述待合成圖形中各列區(qū)域的字符，確定所述圖形文本所包括的識(shí)別文本或所述圖形公式對應(yīng)的LaTeX字符。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述RNN部分包括深層雙向長短時(shí)記憶網(wǎng)絡(luò)LSTM。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述將所述文本序列輸入語音合成模型，通過所述語音合成模型將所述文本序列轉(zhuǎn)換為音頻，包括：

將所述文本序列轉(zhuǎn)換為音素序列；

對所述音素序列進(jìn)行字符嵌入處理，獲得特征向量；

將所述特征向量輸入所述語音合成模型包括的編碼器，通過所述編碼器對所述特征向量進(jìn)行編碼，獲得維度向量；

將所述維度向量輸入所述語音合成模型中解碼器所包括的注意力循環(huán)神經(jīng)網(wǎng)絡(luò)，通過所述注意力循環(huán)神經(jīng)網(wǎng)絡(luò)對所述維度向量進(jìn)行處理，獲得注意力權(quán)重；

將所述注意力權(quán)重輸入所述解碼器所包括的注意力過渡模塊，通過正向遞歸算法計(jì)算每個(gè)時(shí)間步長的修正注意概率，以使所述注意力循環(huán)神經(jīng)網(wǎng)絡(luò)確定在所述解碼器的每個(gè)時(shí)間步長向前移動(dòng)或停留；

將所述注意力循環(huán)神經(jīng)網(wǎng)絡(luò)輸出的所述注意力權(quán)重輸入所述解碼器所包括的解碼循環(huán)神經(jīng)網(wǎng)絡(luò)，使所述解碼循環(huán)神經(jīng)網(wǎng)絡(luò)基于輸入的所述注意力權(quán)重生成頻譜圖；

通過所述語音合成模型包括的聲碼器將所述頻譜圖轉(zhuǎn)換為所述音頻。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述通過所述編碼器對所述特征向量進(jìn)行編碼，獲得維度向量，包括：

通過所述編碼器包括的3層1維卷積層對所述特征向量進(jìn)行卷積；

將對所述特征向量進(jìn)行卷積處理的結(jié)果，輸入所述語音合成模型包括的雙向LSTM層，獲得所述雙向LSTM層輸出的所述維度向量。

6.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述將所述注意力循環(huán)神經(jīng)網(wǎng)絡(luò)輸出的所述注意力權(quán)重輸入所述解碼器所包括的解碼循環(huán)神經(jīng)網(wǎng)絡(luò)，使所述解碼循環(huán)神經(jīng)網(wǎng)絡(luò)基于輸入的所述注意力權(quán)重生成頻譜圖，包括：

將所述解碼器所包括的逐步優(yōu)化循環(huán)網(wǎng)絡(luò)PReNet輸出的頻譜轉(zhuǎn)換向量，及所述注意力權(quán)重，輸入所述解碼循環(huán)神經(jīng)網(wǎng)絡(luò)，通過所述解碼循環(huán)神經(jīng)網(wǎng)絡(luò)根據(jù)所述頻譜轉(zhuǎn)換向量和所述注意力權(quán)重，按照幀級別生成所述頻譜圖。

7.根據(jù)權(quán)利要求4至6中任一所述的方法，其特征在于，所述聲碼器包括griffin-lim聲碼器或神經(jīng)聲碼器。