[發(fā)明專利]基于自回歸網(wǎng)絡(luò)的非平行語料語音轉(zhuǎn)換方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202011161519.X
• 申請日: 2020-10-27
• 公開（公告）號: CN112331183B
• 公開（公告）日: 2022-03-18
• 發(fā)明（設(shè)計）人: 連政;溫正棋
• 申請（專利權(quán)）人: 中科極限元（杭州）智能科技股份有限公司
• 主分類號: G10L15/02
• 分類號: G10L15/02;G10L13/02
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 楊小凡

1.基于自回歸網(wǎng)絡(luò)的非平行語料語音轉(zhuǎn)換方法，其特征在于包括如下步驟：

S1，音素后驗概率抽取，利用預(yù)先訓(xùn)練好的說話人無關(guān)的語音識別模型，從輸入語音中抽取音素后驗概率特征，作為文本特征表示；

S2，編碼階段，利用卷積神經(jīng)網(wǎng)絡(luò)和門控循環(huán)單元，捕獲音素后驗概率特征中的上下文信息，從而獲取融合上下文信息的文本特征表示；

S3，利用自適應(yīng)注意力機(jī)制，對當(dāng)前時刻的文本特征和上一時刻的聲學(xué)特征進(jìn)行融合，獲取增廣的特征表示；

S4，解碼階段，基于增廣的特征表示，采用長短時記憶網(wǎng)絡(luò)預(yù)測目標(biāo)說話人的聲學(xué)特征；

S5，語音生成，基于預(yù)測的目標(biāo)說話人的聲學(xué)特征，利用聲碼器合成語音。

2.如權(quán)利要求1所述的基于自回歸網(wǎng)絡(luò)的非平行語料語音轉(zhuǎn)換方法，其特征在于所述步驟S1，首先基于大規(guī)模語料，訓(xùn)練一套說話人無關(guān)的語音識別系統(tǒng)，然后將待測語音輸入到語音識別系統(tǒng)中，獲取音素后驗概率，作為其文本特征表示。

3.如權(quán)利要求1所述的基于自回歸網(wǎng)絡(luò)的非平行語料語音轉(zhuǎn)換方法，其特征在于所述步驟S2，包括如下步驟：

S21，將從語音中抽取的音素后驗概率特征標(biāo)記為X＝[x₁，x₂，…，x_N]，其中x_i表示語音中第i幀的音素后驗概率；

S22，將X輸入到多層感知機(jī)中進(jìn)行特征變換：

X₁＝Dropout(XW₁+b₁)

X₂＝Dropout(X₁W₂+b₂)

其中，W₁，W₂，b₁，b₂為可訓(xùn)練參數(shù)；

S23，將X₂輸入到多個一維卷積神經(jīng)網(wǎng)絡(luò)中，這些卷積神經(jīng)網(wǎng)絡(luò)的卷積核大小不同，從而能夠提取不同長度的上下文信息，然后將多個卷積神經(jīng)網(wǎng)絡(luò)的輸出結(jié)果堆疊起來，作為融合上下文信息的特征表示，操作標(biāo)記為ConυBank(*)，X₃＝ConυBank(X₂)；

S24，將X₃輸入到最大池化網(wǎng)絡(luò)中，獲取壓縮后的特征表示，操作標(biāo)記為MaxPooling(*)，X₄＝MaxPooling(X₃)；

S25，將X₄輸入到highway模塊，控制輸出信息，并緩解過擬合問題，公式如下：

H＝ReLU(X₄W_H)

T＝sigmoid(X₄W_T)

C＝1-T

X₅＝H⊙T+X₄⊙C

其中W_H，W_T為可訓(xùn)練參數(shù)，ReLU(*)為線性整流函數(shù)，sigmoid(*)將特征映射到(0，1)，⊙為點乘操作，即矩陣元素按對應(yīng)位置相乘；

S26，將X₅輸入到雙向門控循環(huán)單元網(wǎng)絡(luò)中，進(jìn)一步捕獲文本中的上下文信息，設(shè)X₅＝[f₁，f₂，…，f_N]，其中f_j表示第j幀的特征表示：

其中表示正向門控循環(huán)單元的輸出，表示反向門控循環(huán)單元的輸出，每個方向的門控循環(huán)單元，將上一時刻的隱層狀態(tài)特征以及當(dāng)前時刻的輸入特征f_j作為輸入信息，將正向門控循環(huán)單元的輸出和反向門控循環(huán)單元的輸出拼接起來，作為融合上下文信息的特征表示：

S27，將編碼階段輸出結(jié)果標(biāo)記為R＝[r₁，r₂，…，r_N]。