[發(fā)明專利]一種層次注意力LSTM和知識(shí)圖譜的多輪對話管理方法

有效

• 申請?zhí)枺?/td>: 201810699042.7
• 申請日: 2018-06-29
• 公開（公告）號(hào): CN108874782B
• 公開（公告）日: 2019-04-26
• 發(fā)明（設(shè)計(jì)）人: 高揚(yáng);王丹;其他發(fā)明人請求不公開姓名
• 申請（專利權(quán)）人: 北京尋領(lǐng)科技有限公司
• 主分類號(hào): G06F17/27
• 分類號(hào): G06F17/27;G06F16/36;G06F16/332;G06N3/04;G06N3/08
• 代理公司: 北京理工正陽知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11639
• 代理人: 王民盛

一種層次注意力LSTM和知識(shí)圖譜的多輪對話管理方法，屬于自然語言處理領(lǐng)域。本方法的核心思想為：將會(huì)話中用戶和系統(tǒng)的對話內(nèi)容作為上下文，利用上下文在單詞和句子層面的重要、時(shí)序信息抽取上下文深層語義，具體分兩步，首先在單詞層面利用第一層注意力機(jī)制LSTM抽取句子語義，其次在句子層面利用第二層注意力機(jī)制LSTM抽取上下文語義；其中，注意力機(jī)制保留重要信息，且注意力機(jī)制通過知識(shí)圖譜作為外部知識(shí)來實(shí)現(xiàn)，LSTM保留時(shí)序信息，這些信息共同識(shí)別用戶意圖，識(shí)別結(jié)果用來判定是否開啟下一個(gè)會(huì)話。本發(fā)明利用知識(shí)圖譜和LSTM學(xué)習(xí)了上下文深層語義、利用注意力機(jī)制過濾掉無用信息，從而提高了識(shí)別用戶意圖的效率和準(zhǔn)確率。

技術(shù)領(lǐng)域

本發(fā)明涉及一種層次注意力LSTM和知識(shí)圖譜的多輪對話管理方法，屬于自然語言處理領(lǐng)域。

背景技術(shù)

隨著計(jì)算技術(shù)與人工智能技術(shù)的發(fā)展，對話管理系統(tǒng)得到了越來越廣泛的研究，尤其是面向特定任務(wù)的對話管理系統(tǒng)，可以用于機(jī)票預(yù)訂等客戶服務(wù)中，幫助企業(yè)有效地降低運(yùn)營成本，具有重要的應(yīng)用價(jià)值。根據(jù)對話系統(tǒng)智能化程度的不同，智能對話系統(tǒng)的會(huì)話表現(xiàn)形式可簡單分為單輪對話和多輪對話兩種。單輪對話較簡單，沒有記憶功能，而多輪對話問題和回答之間是有聯(lián)系的，意圖識(shí)別是多輪對話管理系統(tǒng)的關(guān)鍵子任務(wù)，只有深入理解用戶的意圖才能判斷是否該輪對話已經(jīng)完成。

早期對話系統(tǒng)基本是基于規(guī)則的，可以和用戶進(jìn)行簡單的對話。然而基于規(guī)則的方法過于依賴根據(jù)經(jīng)驗(yàn)設(shè)置的有限模型參數(shù)或是一些人工設(shè)置的模板，雖然簡單有效，但是只能應(yīng)用在用戶提問具有明顯的詞匯且無指代的場景中，因此這種方法離復(fù)雜場景下的實(shí)用化還有很大差距。

在大數(shù)據(jù)時(shí)代背景下，多輪對話管理系統(tǒng)取得了重大的突破，大量的對話數(shù)據(jù)可以從實(shí)際的場景中獲得，隨著深度神經(jīng)網(wǎng)絡(luò)在越來越多的基于大量數(shù)據(jù)來進(jìn)行訓(xùn)練的任務(wù)中取得顯著的成果，基于深度學(xué)習(xí)的方法成為多輪對話管理系統(tǒng)研究的主流。但是目前基于深度學(xué)習(xí)的方法也存在一些問題，主要表現(xiàn)在兩方面，一方面是沒有將多輪對話中的上下文利用起來，在同一輪對話中，用戶的提問，系統(tǒng)的回答和當(dāng)前用戶的問題都有一定的聯(lián)系；另一方面沒有結(jié)合外部知識(shí)，只是數(shù)據(jù)驅(qū)動(dòng)的方法，在準(zhǔn)確率上存在一定的差距。

隨著人工智能對數(shù)據(jù)處理和理解需求逐日增加，知識(shí)圖譜得到了越來越廣泛的研究，簡單來說知識(shí)圖譜就是描述概念、實(shí)體、事件及其之間的關(guān)系的一種結(jié)構(gòu)，用“屬性-值“來刻畫它的內(nèi)在特性，比如說人有年齡、身高、體重等屬性。因此這樣一個(gè)知識(shí)庫放入到多輪對話管理系統(tǒng)中，提高了用戶意圖判斷的正確率。

本發(fā)明方法將會(huì)話中的用戶和系統(tǒng)對話通過層次注意力機(jī)制的LSTM進(jìn)行深層語義提取，并聯(lián)合知識(shí)圖譜將用戶意圖和對話語義進(jìn)行有機(jī)的結(jié)合，從而高效的識(shí)別當(dāng)前問題的用戶意圖，完成多輪對話管理系統(tǒng)中的關(guān)鍵任務(wù)。

發(fā)明內(nèi)容

本發(fā)明的目的是為了解決現(xiàn)有多輪對話管理方法存在用戶意圖判斷中缺少上下文信息和外部知識(shí)的技術(shù)缺陷，提出了一種層次注意力LSTM和知識(shí)圖譜的多輪對話管理方法。

本方法的核心思想為：將會(huì)話中用戶和系統(tǒng)的對話內(nèi)容作為上下文，利用上下文在單詞和句子層面的重要、時(shí)序信息抽取上下文深層語義，具體分兩步，首先在單詞層面利用第一層注意力機(jī)制LSTM抽取句子語義，其次在句子層面利用第二層注意力機(jī)制LSTM抽取上下文語義；其中，注意力機(jī)制保留重要信息，且注意力機(jī)制通過知識(shí)圖譜作為外部知識(shí)來實(shí)現(xiàn)，LSTM保留時(shí)序信息，這些信息共同識(shí)別用戶意圖，識(shí)別結(jié)果用來判定是否開啟下一個(gè)會(huì)話。本發(fā)明利用知識(shí)圖譜和LSTM學(xué)習(xí)了上下文深層語義、利用注意力機(jī)制過濾掉無用信息，從而提高了識(shí)別用戶意圖的效率和準(zhǔn)確率。為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

首先進(jìn)行相關(guān)定義，具體如下：

定義1：query，是指用戶會(huì)向系統(tǒng)提出的一些問題，每一個(gè)query都會(huì)對應(yīng)一個(gè)用戶意圖，query又分為兩類：first query和非first query；