[發(fā)明專利]統(tǒng)一的對話理解方法及框架

在審

• 申請?zhí)枺?/td>: 202210342533.2
• 申請日: 2022-03-31
• 公開（公告）號: CN114896988A
• 公開（公告）日: 2022-08-12
• 發(fā)明（設(shè)計）人: 俞凱;陳露;陳志
• 申請（專利權(quán)）人: 思必馳科技股份有限公司
• 主分類號: G06F40/35
• 分類號: G06F40/35
• 代理公司: 北京商專永信知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11400
• 代理人: 黃謙;侯曉艷

本發(fā)明實施例提供一種統(tǒng)一的對話理解方法。該方法包括：將各類別的對話理解任務(wù)按照統(tǒng)一的生成范式轉(zhuǎn)換為多個生成式對話任務(wù)；將多個生成式對話任務(wù)輸入至任務(wù)統(tǒng)一生成式模型，輸出與多個生成式對話任務(wù)對應(yīng)的任務(wù)標(biāo)識和任務(wù)答案，以解決各類別的對話理解任務(wù)。本發(fā)明實施例還提供一種統(tǒng)一的對話理解框架。本發(fā)明實施例提出了一個統(tǒng)一的生成性對話理解框架，用于在多個對話理解任務(wù)中共享知識。為了緩解偏差生成問題，改進(jìn)了現(xiàn)有的可學(xué)習(xí)權(quán)重方法，該方法可以獲得最佳的整體性能。與現(xiàn)有模型相比，本方法的UniDU在多個DU任務(wù)上實現(xiàn)了更好的性能。進(jìn)一步深入研究了影響因素。最后，實驗結(jié)果表明，UniDU模型在小樣本和零樣本設(shè)置下也能獲得優(yōu)異的性能。

技術(shù)領(lǐng)域

本發(fā)明涉及智能語音領(lǐng)域，尤其涉及一種統(tǒng)一的對話理解方法及框架。

背景技術(shù)

會話系統(tǒng)的發(fā)展對智能設(shè)備的普及起著重要作用，如智能助手。近年來，人們對神經(jīng)對話系統(tǒng)越來越感興趣。對話理解是神經(jīng)對話系統(tǒng)中的核心技術(shù)，旨在從不同的細(xì)粒度角度準(zhǔn)確分析對話。然而對話理解任務(wù)有多種類型，例如給出一段題干和問題確定對應(yīng)的答案，或者給出一段長文本確定簡短的關(guān)鍵語句等。由于各任務(wù)格式不同，這些DU(Dialogue Understanding，對話理解)任務(wù)仍然是獨立學(xué)習(xí)的。

在對話任務(wù)學(xué)習(xí)中有：

多任務(wù)學(xué)習(xí)在對話理解中的應(yīng)用：利用不同理解任務(wù)的語料訓(xùn)練共享的對話編碼模型，不同的任務(wù)還是有自己獨立的解碼模塊，對于分類問題用特殊符號代表的對話表示做分類計算，對于序列標(biāo)注問題在每一個詞上做標(biāo)注計算，對于生成問題會有獨立的自回歸式解碼計算。

生成式的方法在對話建模中的應(yīng)用：生成式的對話建模一般是指將對話內(nèi)容用語言模型的方式進(jìn)行建模，將對話建模變成對話生成問題，然后利用其他標(biāo)注信息來幫助對話生成的質(zhì)量。

在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)相關(guān)技術(shù)中至少存在如下問題：

關(guān)于多任務(wù)學(xué)習(xí)在對話理解中的應(yīng)用：不同的對話理解問題仍然需要被設(shè)定為不同的對話理解任務(wù)，比如說對話意圖識別是分類任務(wù)，對話槽填充是序列標(biāo)注任務(wù)和對話簡寫是生成任務(wù)。不同的任務(wù)都是有自己獨立的一套參數(shù)，這種方式不利于探索不同任務(wù)之間的影響，因為還是要受限于模型的影響。另外，這種多任務(wù)訓(xùn)練方式的可擴(kuò)展性較差，不同任務(wù)還是需要獨立建模，對于內(nèi)存的要求較高，幾乎是隨著任務(wù)數(shù)量的增加成線性增長。

生成式的方法在對話建模中的應(yīng)用：僅僅是以對話生成問題作為主要問題，沒有考慮在訓(xùn)練過程中不同多任務(wù)訓(xùn)練方式對不同對話理解任務(wù)的影響。也沒有深入討論大量其他形式的對話理解任務(wù)的影響。

發(fā)明內(nèi)容

為了至少解決現(xiàn)有技術(shù)中不同任務(wù)還是需要獨立建模，不利于對話理解不同對話任務(wù)，全局考慮所有對話理解任務(wù)的性能要求，只是為了將其他任務(wù)來提升對話生成任務(wù)的性能，沒有考慮不同多任務(wù)訓(xùn)練方式的影響的問題。第一方面，本發(fā)明實施例提供一種統(tǒng)一的對話理解方法，包括：

將各類別的對話理解任務(wù)按照統(tǒng)一的生成范式轉(zhuǎn)換為多個生成式對話任務(wù)；

將所述多個生成式對話任務(wù)輸入至任務(wù)統(tǒng)一生成式模型，輸出與所述多個生成式對話任務(wù)對應(yīng)的任務(wù)標(biāo)識和任務(wù)答案，以解決各類別的對話理解任務(wù)。

第二方面，本發(fā)明實施例提供一種統(tǒng)一的對話理解框架，包括：

統(tǒng)一轉(zhuǎn)換程序模塊，用于將各類別的對話理解任務(wù)按照統(tǒng)一的生成范式轉(zhuǎn)換為多個生成式對話任務(wù)；

對話理解程序模塊，用于將所述多個生成式對話任務(wù)輸入至任務(wù)統(tǒng)一生成式模型，輸出與所述多個生成式對話任務(wù)對應(yīng)的任務(wù)標(biāo)識和任務(wù)答案，以解決各類別的對話理解任務(wù)。