[發(fā)明專利]語義槽填充模型訓(xùn)練方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010248117.7
• 申請(qǐng)日: 2020-03-31
• 公開（公告）號(hào): CN111462734B
• 公開（公告）日: 2022-07-26
• 發(fā)明（設(shè)計(jì)）人: 俞凱;劉辰;朱蘇;陳露;曹瑞升
• 申請(qǐng)（專利權(quán)）人: 思必馳科技股份有限公司
• 主分類號(hào): G10L15/06
• 分類號(hào): G10L15/06;G10L15/18
• 代理公司: 北京商專永信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 黃謙;車江華

本發(fā)明實(shí)施例提供一種語義槽填充模型訓(xùn)練方法。該方法包括：對(duì)帶有標(biāo)注的第一訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，生成第一語義槽填充模型；將自動(dòng)語音識(shí)別的第二訓(xùn)練數(shù)據(jù)集，輸入至第一語義槽填充模型，確定第一語義槽值對(duì)；基于規(guī)則的錯(cuò)誤糾正模塊對(duì)第一語義槽值對(duì)進(jìn)行糾正，確定第二語義槽值對(duì)，其中，錯(cuò)誤糾正模型基于預(yù)設(shè)規(guī)則對(duì)第一語義槽值對(duì)進(jìn)行糾正；基于第二語義槽值對(duì)，對(duì)第一語義槽填充模型進(jìn)行策略梯度訓(xùn)練，確定訓(xùn)練后的第二語義槽填充模型。本發(fā)明實(shí)施例還提供一種語義槽填充模型訓(xùn)練系統(tǒng)。本發(fā)明實(shí)施例通過強(qiáng)化學(xué)習(xí)將基于規(guī)則的錯(cuò)誤糾正直接引入訓(xùn)練的方法，用于口語語義理解中的槽填充任務(wù)。從而提高語義理解對(duì)語音識(shí)別錯(cuò)誤的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及智能語音領(lǐng)域，尤其涉及一種語義槽填充模型訓(xùn)練方法及系統(tǒng)。

背景技術(shù)

口語語義理解是將自動(dòng)語音識(shí)別產(chǎn)生的輸出轉(zhuǎn)化為結(jié)構(gòu)化的語義表示的一種技術(shù)，因而對(duì)于語音識(shí)別錯(cuò)誤非常敏感。在語義理解中，通常會(huì)使用語義槽填充。為了提升語義理解對(duì)語音識(shí)別錯(cuò)誤的魯棒性，會(huì)利用基于規(guī)則的糾正模型對(duì)語義槽填充預(yù)測(cè)的槽值進(jìn)行糾正。進(jìn)而保證口語語義理解的準(zhǔn)確。

在實(shí)現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題：

這些方法的缺陷在于槽填充模型和基于規(guī)則錯(cuò)誤糾正模型是相互獨(dú)立的，即使兩個(gè)模型單獨(dú)的訓(xùn)練，但糾正結(jié)果的好壞大幅度是受規(guī)則錯(cuò)誤糾正模型限制的。然而錯(cuò)誤糾正本應(yīng)作為一個(gè)后處理模塊，不應(yīng)過于影響口語語義理解。使得口語語義理解對(duì)語音識(shí)別的魯棒性較差。

發(fā)明內(nèi)容

為了至少解決現(xiàn)有技術(shù)中口語語義理解中槽填充模型和基于規(guī)則錯(cuò)誤糾正模型相互獨(dú)立，使得口語理解對(duì)于語音識(shí)別錯(cuò)誤的魯棒性較差的問題。

第一方面，本發(fā)明實(shí)施例提供一種語義槽填充模型訓(xùn)練方法，包括：

對(duì)帶有標(biāo)注的第一訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，生成第一語義槽填充模型；

將自動(dòng)語音識(shí)別的第二訓(xùn)練數(shù)據(jù)集，輸入至所述第一語義槽填充模型，確定第一語義槽值對(duì)；

基于規(guī)則的錯(cuò)誤糾正模塊對(duì)所述第一語義槽值對(duì)進(jìn)行糾正，確定第二語義槽值對(duì)，其中，所述錯(cuò)誤糾正模型基于預(yù)設(shè)規(guī)則對(duì)所述第一語義槽值對(duì)進(jìn)行糾正；

基于所述第二語義槽值對(duì)，對(duì)所述第一語義槽填充模型進(jìn)行策略梯度訓(xùn)練，確定訓(xùn)練后的第二語義槽填充模型。

第二方面，本發(fā)明實(shí)施例提供一種語義槽填充模型訓(xùn)練系統(tǒng)，包括：

數(shù)據(jù)訓(xùn)練程序模塊，用于對(duì)帶有標(biāo)注的第一訓(xùn)練數(shù)據(jù)集進(jìn)行訓(xùn)練，生成第一語義槽填充模型；

語義槽值對(duì)確定程序模塊，用于將自動(dòng)語音識(shí)別的第二訓(xùn)練數(shù)據(jù)集，輸入至所述第一語義槽填充模型，確定第一語義槽值對(duì)；

糾正程序模塊，用于基于規(guī)則的錯(cuò)誤糾正模塊對(duì)所述第一語義槽值對(duì)進(jìn)行糾正，確定第二語義槽值對(duì)，其中，所述錯(cuò)誤糾正模型基于預(yù)設(shè)規(guī)則對(duì)所述第一語義槽值對(duì)進(jìn)行糾正；

語義槽填充模型訓(xùn)練程序模塊，用于基于所述第二語義槽值對(duì)，對(duì)所述第一語義槽填充模型進(jìn)行策略梯度訓(xùn)練，確定訓(xùn)練后的第二語義槽填充模型。

第三方面，提供一種電子設(shè)備，其包括：至少一個(gè)處理器，以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器，其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行本發(fā)明任一實(shí)施例的語義槽填充模型訓(xùn)練方法的步驟。

第四方面，本發(fā)明實(shí)施例提供一種存儲(chǔ)介質(zhì)，其上存儲(chǔ)有計(jì)算機(jī)程序，其特征在于，該程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)本發(fā)明任一實(shí)施例的語義槽填充模型訓(xùn)練方法的步驟。