[發(fā)明專利]一種深度混合生成網(wǎng)絡(luò)自適應(yīng)方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201810054314.8
• 申請(qǐng)日: 2018-01-19
• 公開(kāi)（公告）號(hào): CN108417207B
• 公開(kāi)（公告）日: 2020-06-30
• 發(fā)明（設(shè)計(jì)）人: 錢彥旻;丁文;譚天
• 申請(qǐng)（專利權(quán)）人: 蘇州思必馳信息科技有限公司;上海交通大學(xué)
• 主分類號(hào): G10L15/065
• 分類號(hào): G10L15/065
• 代理公司: 北京商專永信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 方挺;車江華

本發(fā)明公開(kāi)一種深度混合生成網(wǎng)絡(luò)自適應(yīng)方法及系統(tǒng)，所述方法包括：從訓(xùn)練數(shù)據(jù)集中獲取的訓(xùn)練音頻數(shù)據(jù)和相應(yīng)于訓(xùn)練音頻數(shù)據(jù)的訓(xùn)練文本數(shù)據(jù)分別作為輸入和輸出，來(lái)訓(xùn)練深度混合生成網(wǎng)絡(luò)，以從高斯混合模型中獲取全局音素均值；根據(jù)說(shuō)話者的注冊(cè)音頻數(shù)據(jù)確定說(shuō)話者的說(shuō)話者音素均值；確定用于將全局音素均值向說(shuō)話者音素均值轉(zhuǎn)化的自適應(yīng)轉(zhuǎn)化矩陣；基于自適應(yīng)轉(zhuǎn)化矩陣調(diào)整高斯混合模型以實(shí)現(xiàn)深度混合生成網(wǎng)絡(luò)的自適應(yīng)。本發(fā)明中通過(guò)將深度神經(jīng)網(wǎng)絡(luò)與高斯混合模型的結(jié)合，使得進(jìn)行自適應(yīng)時(shí)只需要對(duì)高斯混合模型網(wǎng)絡(luò)進(jìn)行自適應(yīng)調(diào)整即可，而不必對(duì)整個(gè)網(wǎng)絡(luò)進(jìn)行重新訓(xùn)練，所以簡(jiǎn)化了自適應(yīng)過(guò)程，提升了自適應(yīng)效率。

技術(shù)領(lǐng)域

本發(fā)明涉及語(yǔ)音識(shí)別技術(shù)領(lǐng)域，尤其涉及一種深度混合生成網(wǎng)絡(luò)自適應(yīng)方法及系統(tǒng)。

背景技術(shù)

近年來(lái)，隨著深度學(xué)習(xí)的深入，語(yǔ)音識(shí)別系統(tǒng)的性能得到了顯著的提高?，F(xiàn)有被證明效果最好的語(yǔ)音識(shí)別系統(tǒng)中，聲學(xué)模型大多是在成百上千小時(shí)數(shù)據(jù)集合上訓(xùn)練的基于DNN的深度網(wǎng)絡(luò)模型。目前訓(xùn)練聲學(xué)模型所用的聲學(xué)特征是與說(shuō)話人無(wú)關(guān)的濾波器組(filter-bank，fBank)特征，因此訓(xùn)練出來(lái)的聲學(xué)模型實(shí)際上只是一個(gè)通用的深度網(wǎng)絡(luò)模型，是與說(shuō)話人無(wú)關(guān)的，由于該通用模型訓(xùn)練時(shí)缺少說(shuō)話人相關(guān)的個(gè)性特征，而使得語(yǔ)音識(shí)別的準(zhǔn)確率以及準(zhǔn)確率較低，且語(yǔ)音識(shí)別的適應(yīng)性較差。

為解決這一問(wèn)題就需要對(duì)已經(jīng)訓(xùn)練好的通用的深度網(wǎng)絡(luò)模型進(jìn)行自適應(yīng)訓(xùn)練，而發(fā)明人在實(shí)現(xiàn)本發(fā)明的過(guò)程中發(fā)現(xiàn)，現(xiàn)有技術(shù)進(jìn)行自適應(yīng)的方法為采用待識(shí)別說(shuō)話人的語(yǔ)音數(shù)據(jù)對(duì)整個(gè)深度網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，訓(xùn)練沒(méi)有針對(duì)性，效率低下。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供一種深度混合生成網(wǎng)絡(luò)自適應(yīng)方法及系統(tǒng)，用于至少解決上述技術(shù)問(wèn)題之一。

第一方面，本發(fā)明實(shí)施例提供一種深度混合生成網(wǎng)絡(luò)自適應(yīng)方法，所述深度混合生成網(wǎng)絡(luò)由高斯混合模型替換深度神經(jīng)網(wǎng)絡(luò)的輸出層構(gòu)成，所述方法包括：

從訓(xùn)練數(shù)據(jù)集中獲取的訓(xùn)練音頻數(shù)據(jù)和相應(yīng)于所述訓(xùn)練音頻數(shù)據(jù)的訓(xùn)練文本數(shù)據(jù)分別作為輸入和輸出，來(lái)訓(xùn)練所述深度混合生成網(wǎng)絡(luò)，以從所述高斯混合模型中獲取全局音素均值；

根據(jù)說(shuō)話者的注冊(cè)音頻數(shù)據(jù)確定所述說(shuō)話者的說(shuō)話者音素均值；

確定用于將所述全局音素均值向所述說(shuō)話者音素均值轉(zhuǎn)化的自適應(yīng)轉(zhuǎn)化矩陣；

基于所述自適應(yīng)轉(zhuǎn)化矩陣調(diào)整所述高斯混合模型以實(shí)現(xiàn)所述深度混合生成網(wǎng)絡(luò)的自適應(yīng)。

第二方面，本發(fā)明實(shí)施例提供一種深度混合生成網(wǎng)絡(luò)自適應(yīng)系統(tǒng)，所述深度混合生成網(wǎng)絡(luò)由高斯混合模型替換深度神經(jīng)網(wǎng)絡(luò)的輸出層構(gòu)成，所述系統(tǒng)包括：

全局音素均值獲取程序模塊，用于從訓(xùn)練數(shù)據(jù)集中獲取的訓(xùn)練音頻數(shù)據(jù)和相應(yīng)于所述訓(xùn)練音頻數(shù)據(jù)的訓(xùn)練文本數(shù)據(jù)分別作為輸入和輸出，來(lái)訓(xùn)練所述深度混合生成網(wǎng)絡(luò)，以從所述高斯混合模型中獲取全局音素均值；

說(shuō)話者音素均值獲取程序模塊，用于根據(jù)說(shuō)話者的注冊(cè)音頻數(shù)據(jù)確定所述說(shuō)話者的說(shuō)話者音素均值；

自適應(yīng)轉(zhuǎn)化矩陣確定程序模塊，用于確定將所述全局音素均值向所述說(shuō)話者音素均值轉(zhuǎn)化的自適應(yīng)轉(zhuǎn)化矩陣；

網(wǎng)絡(luò)自適應(yīng)調(diào)整程序模塊，用于基于所述自適應(yīng)轉(zhuǎn)化矩陣調(diào)整所述高斯混合模型以實(shí)現(xiàn)所述深度混合生成網(wǎng)絡(luò)的自適應(yīng)。

第三方面，本發(fā)明實(shí)施例提供一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)中存儲(chǔ)有一個(gè)或多個(gè)包括執(zhí)行指令的程序，所述執(zhí)行指令能夠被電子設(shè)備(包括但不限于計(jì)算機(jī)，服務(wù)器，或者網(wǎng)絡(luò)設(shè)備等)讀取并執(zhí)行，以用于執(zhí)行本發(fā)明上述任一項(xiàng)深度混合生成網(wǎng)絡(luò)自適應(yīng)方法。

第四方面，提供一種電子設(shè)備，其包括：至少一個(gè)處理器，以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本發(fā)明上述任一項(xiàng)深度混合生成網(wǎng)絡(luò)自適應(yīng)方法。