[發(fā)明專利]一種多輪任務(wù)式對話狀態(tài)追蹤方法

有效

• 申請?zhí)枺?/td>: 202010241514.1
• 申請日: 2020-03-31
• 公開（公告）號: CN111522923B
• 公開（公告）日: 2023-04-28
• 發(fā)明（設(shè)計(jì)）人: 胡佳穎;楊燕;賀樑
• 申請（專利權(quán)）人: 華東師范大學(xué)
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06F16/335;G06F16/33
• 代理公司: 上海藍(lán)迪專利商標(biāo)事務(wù)所(普通合伙) 31215
• 代理人: 徐筱梅;張翔

本發(fā)明公開了一種多輪任務(wù)式對話狀態(tài)追蹤方法，其特點(diǎn)是采用對歷史對話記錄進(jìn)行編碼，利用注意力機(jī)制為各個(gè)槽分別抽取關(guān)鍵信息，并根據(jù)槽之間的相似度和關(guān)聯(lián)性，對關(guān)鍵信息進(jìn)行共享與重組，生成更為精確的對話狀態(tài)。本發(fā)明與現(xiàn)有技術(shù)相比具有多輪式對話狀態(tài)追蹤便于實(shí)現(xiàn)，成本低廉并且能夠在不同的數(shù)據(jù)領(lǐng)域之間進(jìn)行很好的遷移，能夠有效從多輪長對話歷史中為各個(gè)槽提取出最有價(jià)值的信息，并緩解數(shù)據(jù)不足對追蹤效果的影響，有效提高對話追蹤模塊在訂餐、旅游安排等多個(gè)任務(wù)上的追蹤效果，從而有效提高智能對話系統(tǒng)的最終性能，具有廣泛的實(shí)用意義。

技術(shù)領(lǐng)域

本發(fā)明涉及任務(wù)式對話系統(tǒng)技術(shù)領(lǐng)域，具體的說是一種基于槽注意力機(jī)制和信息共享技術(shù)的來優(yōu)化多輪對話中用戶狀態(tài)的追蹤方法。

背景技術(shù)

目前，人工智能技術(shù)迅猛發(fā)展，出現(xiàn)了很多圖像和文本的實(shí)際應(yīng)用。作為自然語言領(lǐng)域的一大重要分支，任務(wù)式對話系統(tǒng)正日益獲得學(xué)術(shù)界和產(chǎn)業(yè)界的重視。任務(wù)式對話系統(tǒng)是指通過與用戶多個(gè)回合的自然語言交互，來幫助用戶完成某項(xiàng)任務(wù)的系統(tǒng)。這些任務(wù)可以是餐館預(yù)定、旅游安排、天氣預(yù)報(bào)或者是多個(gè)子任務(wù)組合而成的復(fù)合任務(wù)。基于這些新技術(shù)，各大科技公司均推出了自己的智能對話助手，比如蘋果公司的Siri、亞馬遜公司的Alexa。這些智能助手大大提高了人們工作和日常生活的效率。此外，任務(wù)式對話系統(tǒng)也被廣泛應(yīng)用于智能客服領(lǐng)域，它不僅節(jié)省了企業(yè)在客服方面投入的人力成本，還能有效改善企業(yè)整體營運(yùn)的規(guī)范性與效率。

一個(gè)典型的對話系統(tǒng)一般都由自然語言理解(NLU)模塊、對話狀態(tài)追蹤(DST)模塊、行為策略管理(APM)模塊和對話生成(NLG)模塊組成。作為其中的一個(gè)核心模塊，對話狀態(tài)追蹤模塊負(fù)責(zé)在多輪對話中獲取和更新用戶的對話狀態(tài)，它的效果影響著整個(gè)系統(tǒng)的最終結(jié)果。在DST任務(wù)中，對話狀態(tài)指的是槽值對的組合。而槽值對可以理解為用戶對需求的限制。例如，“restaurant-food:Chinese”中，“restaurant-food”就是一個(gè)槽，“Chinese”就是這個(gè)槽的值。而多個(gè)槽值對，如“restaurant-food:Chinese”,“restaurant-pricerange:expensive”，可以被視為一個(gè)對話狀態(tài)。過去，對話狀態(tài)追蹤任務(wù)需要提前預(yù)定義好本體信息。這些本體信息記錄有所有可選的對話槽和它們所有可能的值。這使得該任務(wù)過去一直被視為一種分類任務(wù)，并涌現(xiàn)了很多相關(guān)模型。但隨著對話系統(tǒng)在實(shí)際生活中的應(yīng)用，人們漸漸發(fā)現(xiàn)預(yù)定義任務(wù)本體經(jīng)常是個(gè)成本浩大，有時(shí)甚至不可能的行為。因此，為了擺脫預(yù)定義本體，人們基于sequence-to-sequence結(jié)構(gòu)，提出了生成式的對話狀態(tài)追蹤模型。雖然生成式方法取得了較好的追蹤效果，但它仍然不能很好地從原始對話文本中抽取關(guān)鍵信息。例如，一個(gè)用戶可能告訴系統(tǒng)他/她需要叫一輛出租車，但是這個(gè)出租車的出發(fā)地(通常也即用戶當(dāng)前位置)卻只是在好幾個(gè)回合前被隱式提及。這之間回合的信息會(huì)干擾系統(tǒng)的判斷，從而導(dǎo)致模型生成錯(cuò)誤的對話狀態(tài)。此外，對話歷史記錄往往包含著幾個(gè)甚至十幾個(gè)槽的值信息，一些不相干槽的信息也會(huì)進(jìn)一步加大冗余信息對其他槽的干擾，對于結(jié)構(gòu)復(fù)雜的多輪長對話來說，在其上進(jìn)行狀態(tài)追蹤就更為困難。

此外，除了難以對多輪長對話進(jìn)行追蹤之外，現(xiàn)有技術(shù)也無法很好地應(yīng)對OOV(outof?vocabulary)問題。即對于現(xiàn)有的深度學(xué)習(xí)對話追蹤技術(shù)來說，如果一個(gè)槽在訓(xùn)練集沒有出現(xiàn)過或很少出現(xiàn)，那么模型通常難以學(xué)會(huì)這個(gè)槽的正確處理方法，以致無法很好地追蹤對話狀態(tài)。

發(fā)明內(nèi)容

本發(fā)明的目的是針對現(xiàn)有技術(shù)的不足而設(shè)計(jì)的一種多輪任務(wù)式對話狀態(tài)追蹤方法，采用注意力機(jī)制和信息共享技術(shù)，共享相關(guān)聯(lián)的且訓(xùn)練數(shù)據(jù)充足的槽的特征，來改善數(shù)據(jù)不足的槽上的追蹤效果。首先對歷史對話記錄進(jìn)行編碼，然后從歷史對話記錄中利用注意力機(jī)制為各個(gè)槽分別抽取關(guān)鍵信息，接著根據(jù)槽之間的相似度和關(guān)聯(lián)性，對關(guān)鍵信息進(jìn)行共享與重組，最后基于上述步驟處理后的信息，生成更為精確的對話狀態(tài)。槽注意力機(jī)制可以獨(dú)立地為每個(gè)槽從多輪長對話中提取出最有價(jià)值的特征，并避免不相干槽的冗余信息對目標(biāo)槽的干擾，從而使得后續(xù)模塊能生成更加準(zhǔn)確的對話狀態(tài)；而通過加強(qiáng)關(guān)聯(lián)槽的信息共享，可以改善模型在數(shù)據(jù)不足的槽上的追蹤效果。