[發(fā)明專利]標(biāo)點(diǎn)符號(hào)識(shí)別模型構(gòu)建方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210030614.9
• 申請(qǐng)日: 2022-01-12
• 公開(kāi)（公告）號(hào): CN114049885B
• 公開(kāi)（公告）日: 2022-04-22
• 發(fā)明（設(shè)計(jì)）人: 陳夢(mèng)喆;陳謙
• 申請(qǐng)（專利權(quán)）人: 阿里巴巴達(dá)摩院（杭州）科技有限公司
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/02;G10L15/22;G10L15/26;G06V30/10
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 郝玉娥

本申請(qǐng)公開(kāi)了標(biāo)點(diǎn)符號(hào)識(shí)別模型構(gòu)建方法、裝置及設(shè)備。其中，所述方法包括：獲取第一文本集和第一語(yǔ)音數(shù)據(jù)集，及第二語(yǔ)音數(shù)據(jù)與第二文本之間的對(duì)應(yīng)關(guān)系集；根據(jù)第一文本集，學(xué)習(xí)得到所述模型包括的文本處理模塊的網(wǎng)絡(luò)參數(shù)；根據(jù)第一語(yǔ)音數(shù)據(jù)集，學(xué)習(xí)得到所述模型包括的語(yǔ)音處理模塊的第一網(wǎng)絡(luò)參數(shù)；根據(jù)對(duì)應(yīng)關(guān)系集，對(duì)基于第一網(wǎng)絡(luò)參數(shù)的語(yǔ)音處理模塊進(jìn)行訓(xùn)練，得到語(yǔ)音處理模塊的第二網(wǎng)絡(luò)參數(shù)。采用這種處理方式，使得模型在通用領(lǐng)域具有較為一致的識(shí)別準(zhǔn)確率，同時(shí)還從覆蓋較少領(lǐng)域的少量平行數(shù)據(jù)中更好地學(xué)習(xí)語(yǔ)音處理模塊，引入了聲學(xué)信息后就可以更好地利用說(shuō)話人本身的用意，得到更符合口語(yǔ)的標(biāo)點(diǎn)符號(hào)。

技術(shù)領(lǐng)域

本申請(qǐng)涉及語(yǔ)音處理技術(shù)領(lǐng)域，具體涉及標(biāo)點(diǎn)符號(hào)識(shí)別模型構(gòu)建方法、裝置和設(shè)備，語(yǔ)音轉(zhuǎn)寫(xiě)系統(tǒng)，語(yǔ)音交互系統(tǒng)。

背景技術(shù)

語(yǔ)音轉(zhuǎn)寫(xiě)系統(tǒng)是一種可將語(yǔ)音轉(zhuǎn)寫(xiě)為文字的語(yǔ)音處理系統(tǒng)。通過(guò)該系統(tǒng)可自動(dòng)形成會(huì)議紀(jì)要，以提高會(huì)議效率、發(fā)揮會(huì)議功能，避免人力物力財(cái)力浪費(fèi)、降低會(huì)議成本、達(dá)成人力資源效率化。

為了方便用戶閱讀，實(shí)時(shí)語(yǔ)音轉(zhuǎn)寫(xiě)系統(tǒng)輸出的文本通常是帶有標(biāo)點(diǎn)符號(hào)的文本。口語(yǔ)標(biāo)點(diǎn)符號(hào)預(yù)測(cè)是一種對(duì)語(yǔ)音轉(zhuǎn)寫(xiě)文本判斷出標(biāo)點(diǎn)符號(hào)的任務(wù)。一種典型的口語(yǔ)標(biāo)點(diǎn)符號(hào)預(yù)測(cè)方法為，通過(guò)預(yù)先訓(xùn)練的口語(yǔ)標(biāo)點(diǎn)符號(hào)識(shí)別模型，綜合考慮語(yǔ)音轉(zhuǎn)寫(xiě)文本和對(duì)應(yīng)的語(yǔ)音聲學(xué)特征，對(duì)語(yǔ)音轉(zhuǎn)寫(xiě)文本中可能出現(xiàn)的標(biāo)點(diǎn)符號(hào)進(jìn)行預(yù)測(cè)。其中，口語(yǔ)標(biāo)點(diǎn)符號(hào)識(shí)別模型訓(xùn)練要求的語(yǔ)料需要同時(shí)有音頻和文本標(biāo)注。

然而，在實(shí)現(xiàn)本發(fā)明過(guò)程中，發(fā)明人發(fā)現(xiàn)該技術(shù)方案至少存在如下問(wèn)題：這種平行數(shù)據(jù)的標(biāo)注量特別是領(lǐng)域的覆蓋性上遠(yuǎn)遠(yuǎn)小于純文本的數(shù)據(jù)，用有限領(lǐng)域的少量平行數(shù)據(jù)來(lái)訓(xùn)練模型，會(huì)導(dǎo)致只能在部分領(lǐng)域獲得較好的口語(yǔ)標(biāo)點(diǎn)符號(hào)識(shí)別效果。綜上所述，如何用覆蓋領(lǐng)域有限的少量平行數(shù)據(jù)來(lái)訓(xùn)練模型，使得模型在通用領(lǐng)域能有一致的效果提升，成為本領(lǐng)域技術(shù)人員迫切需要解決的問(wèn)題。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁?biāo)點(diǎn)符號(hào)識(shí)別模型構(gòu)建方法，以解決現(xiàn)有技術(shù)存在的模型僅在平行語(yǔ)料覆蓋領(lǐng)域具有較高識(shí)別準(zhǔn)確率的問(wèn)題。本申請(qǐng)另外提供標(biāo)點(diǎn)符號(hào)識(shí)別模型構(gòu)建裝置，電子設(shè)備，語(yǔ)音轉(zhuǎn)寫(xiě)系統(tǒng)，語(yǔ)音交互系統(tǒng)。

本申請(qǐng)?zhí)峁┮环N標(biāo)點(diǎn)符號(hào)識(shí)別模型構(gòu)建方法，包括：

獲取第一文本集和第一語(yǔ)音數(shù)據(jù)集，及第二語(yǔ)音數(shù)據(jù)與第二文本之間的對(duì)應(yīng)關(guān)系集；

根據(jù)第一文本集，學(xué)習(xí)得到所述模型包括的文本處理模塊的網(wǎng)絡(luò)參數(shù)；根據(jù)第一語(yǔ)音數(shù)據(jù)集，學(xué)習(xí)得到所述模型包括的語(yǔ)音處理模塊的第一網(wǎng)絡(luò)參數(shù)；

根據(jù)所述對(duì)應(yīng)關(guān)系集，對(duì)基于第一網(wǎng)絡(luò)參數(shù)的語(yǔ)音處理模塊進(jìn)行訓(xùn)練，得到語(yǔ)音處理模塊的第二網(wǎng)絡(luò)參數(shù)。

可選的，所述第一文本集和第一語(yǔ)音信息集包括第一領(lǐng)域和/或第一語(yǔ)種的文本和語(yǔ)音信息，所述對(duì)應(yīng)關(guān)系集包括第二領(lǐng)域和/或第二語(yǔ)種的文本和語(yǔ)音信息，所述模型用于識(shí)別第一領(lǐng)域和/或第一語(yǔ)種的語(yǔ)音轉(zhuǎn)寫(xiě)文本的標(biāo)點(diǎn)符號(hào)。

可選的，所述文本處理模塊包括多個(gè)文本特征提取層；

所述文本特征提取層的輸入數(shù)據(jù)包括：上一文本特征提取層輸出的文本特征，語(yǔ)音處理模塊輸出的聲學(xué)特征。

可選的，所述第二語(yǔ)音數(shù)據(jù)包括含有噪聲的語(yǔ)音數(shù)據(jù)；

所述語(yǔ)音處理模塊包括：聲學(xué)特征提取模塊，音頻質(zhì)量檢測(cè)模塊，聲學(xué)特征調(diào)整模塊；

所述音頻質(zhì)量檢測(cè)模塊，用于獲取所述第二語(yǔ)音數(shù)據(jù)的音頻質(zhì)量數(shù)據(jù)；

所述聲學(xué)特征調(diào)整模塊，用于根據(jù)音頻質(zhì)量數(shù)據(jù)，對(duì)聲學(xué)特征提取模塊輸出的聲學(xué)特征進(jìn)行調(diào)整，將調(diào)整后的聲學(xué)特征作為對(duì)應(yīng)的文本特征提取層的輸入數(shù)據(jù)。

可選的，所述語(yǔ)音處理模塊還包括：與各文本特征提取層分別對(duì)應(yīng)的聲學(xué)特征轉(zhuǎn)換層；