[發(fā)明專利]一種語音合成方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202011374257.5
• 申請(qǐng)日: 2020-11-30
• 公開（公告）號(hào): CN112489616A
• 公開（公告）日: 2021-03-12
• 發(fā)明（設(shè)計(jì)）人: 鄧努波;陳麗娟;張麗娟;張建華;黃嫄;向洪偉;郭強(qiáng);程潔;張流暢;巫俊潔;鄧燕晶
• 申請(qǐng)（專利權(quán)）人: 國(guó)網(wǎng)重慶市電力公司物資分公司
• 主分類號(hào): G10L13/027
• 分類號(hào): G10L13/027;G10L25/30;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 重慶晟軒知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50238
• 代理人: 王海鳳

本發(fā)明涉及一種語音合成方法，它包括如下步驟，首先文本特征提取和聲學(xué)特征提取，其次構(gòu)建編碼器，通過編碼器輸出編碼序列；第三引入位置敏感注意力機(jī)制，計(jì)算注意力權(quán)重；第四構(gòu)建解碼器，解碼器的輸出與注意力上下文向量拼接在一起，投影成一個(gè)標(biāo)量后傳遞給激活函數(shù)確定預(yù)測(cè)是否結(jié)束；最后解碼器的輸出經(jīng)過后處理網(wǎng)絡(luò)轉(zhuǎn)化成線性聲譜圖，Griffin?Lim算法將線性聲譜圖還原成語音波形輸出。本發(fā)明將注意力上下文向量與編碼器輸出編碼序列拼接在一起，使前一個(gè)解碼過程后的累積注意權(quán)重被當(dāng)作一個(gè)附加特征，使得模型在沿著輸入序列前進(jìn)時(shí)保持一致性，減少了解碼時(shí)可能出現(xiàn)的子序列遺漏或重復(fù)等問題，提高了最后合成語音的準(zhǔn)確性。

技術(shù)領(lǐng)域

本發(fā)明涉及語音合成技術(shù)，特別涉及一種語音合成方法。

背景技術(shù)

在國(guó)家電網(wǎng)公司減員增效的大背景下，電力物資公司專業(yè)人員緊缺與供應(yīng)商數(shù)量不斷增多的矛盾日益突出，難以滿足現(xiàn)有大批量招投標(biāo)及履約信息交互需求。隨著人工智能時(shí)代的到來，語音識(shí)別技術(shù)在不斷發(fā)展。人工智能語音技術(shù)可以接管大部分人工話務(wù)工作，釋放人力，提高效率。因此，國(guó)網(wǎng)重慶電力公司物資分公司在智慧供應(yīng)商服務(wù)大廳的升級(jí)改造過程中，通過梳理現(xiàn)有語音呼叫交互場(chǎng)景需求，明確物資專員在信息告知中的重點(diǎn)，構(gòu)建常見業(yè)務(wù)通知的話術(shù)流程，依托語音識(shí)別、語義理解、語音合成、大數(shù)據(jù)分析等技術(shù)，打造服務(wù)體貼、智能化水平高的AI智能外呼系統(tǒng)。

AI智能外呼系統(tǒng)可以解放工作人員的無聊重復(fù)工作，提高工作工作效率，同時(shí)AI智能外呼系統(tǒng)語音無情緒，可以有效避免發(fā)生沖突。語音合成技術(shù)是AI智能外呼系統(tǒng)中非常重要的一個(gè)技術(shù)問題，而如何準(zhǔn)確的合成語音更是該系統(tǒng)的一項(xiàng)技術(shù)難題。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的上述問題，本發(fā)明要解決的技術(shù)問題是：如何準(zhǔn)確合成語音。

為解決上述技術(shù)問題，本發(fā)明采用如下技術(shù)方案：一種語音合成方法，包括如下步驟：

S10：文本特征提取和聲學(xué)特征提取；

文本特征提取模塊首先對(duì)輸入文本數(shù)據(jù)做字符嵌入，即使用固定維度大小的向量來對(duì)文本字符進(jìn)行表征，然后依次通過Pre-Net、CBHG兩個(gè)子網(wǎng)絡(luò)，得到文本特征數(shù)據(jù)；

聲學(xué)特征提取：使用梅爾頻譜和線性頻譜進(jìn)行，首先對(duì)語音數(shù)據(jù)進(jìn)行預(yù)加重處理，將原始音頻信號(hào)通過一個(gè)高通濾波器得到預(yù)加重后的語音數(shù)據(jù)，然后進(jìn)行短時(shí)傅里葉變換得到線性譜；

S20:對(duì)提取的文本特征數(shù)據(jù)與聲學(xué)特征進(jìn)行融合，具體包括如下步驟：

a)構(gòu)建編碼器，編碼器使用Tacotron框架中的編碼器，S10中得到的文本特征數(shù)據(jù)輸入編碼器中，編碼器輸出編碼序列；

b)構(gòu)建一個(gè)位置敏感注意力機(jī)制，所述位置敏感注意力機(jī)制的位置特征用32個(gè)長(zhǎng)度為31的1維卷積核卷積得出，所述a)輸出的編碼序列和位置特征投影到128維隱層表征后，得到出注意力權(quán)重，即注意力上下文向量；

c)構(gòu)建解碼器，所述解碼器是一個(gè)自回歸的循環(huán)神經(jīng)網(wǎng)絡(luò)，它將編碼器輸出的編碼序列預(yù)測(cè)輸出聲譜圖，一次預(yù)測(cè)一幀，上一步預(yù)測(cè)出的頻譜幀首先被傳入一個(gè)每層由256個(gè)隱藏ReLU單元組成的雙層全連接的預(yù)處理網(wǎng)絡(luò)pre-net；

pre-net的輸出和注意力上下文向量拼接在一起，傳給一個(gè)兩層堆疊的由1024個(gè)單元組成的單向神經(jīng)網(wǎng)絡(luò)，所述神經(jīng)網(wǎng)絡(luò)的輸出再次和注意力上下文向量拼接在一起，然后經(jīng)過一個(gè)線性變換投影來預(yù)測(cè)目標(biāo)頻譜幀；

預(yù)測(cè)的所述目標(biāo)頻譜幀經(jīng)過一個(gè)5層卷積網(wǎng)絡(luò)來預(yù)測(cè)一個(gè)殘差疊加到卷積前的頻譜幀上，網(wǎng)絡(luò)的每層由512個(gè)5×1卷積核和一個(gè)批標(biāo)準(zhǔn)化處理組成，除了最后一層卷積，每層的批標(biāo)準(zhǔn)化處理都后接一個(gè)tanh激活函數(shù)；

并行于頻譜幀的預(yù)測(cè)，解碼器的輸出與注意力上下文向量拼接在一起，投影成一個(gè)標(biāo)量后傳遞給sigmoid激活函數(shù)，來預(yù)測(cè)輸出序列是否已經(jīng)完成的概率；