[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法

在審

• 申請?zhí)枺?/td>: 201911375183.4
• 申請日: 2019-12-27
• 公開（公告）號: CN111191015A
• 公開（公告）日: 2020-05-22
• 發(fā)明（設(shè)計）人: 王璐;謝志峰;丁友東
• 申請（專利權(quán)）人: 上海大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/31;G06F40/126;G06N3/04
• 代理公司: 上海上大專利事務(wù)所(普通合伙) 31205
• 代理人: 陸聰明

本發(fā)明針對電影知識對話響應(yīng)中涉及大量的專有名詞（如人名，地名等）且一條響應(yīng)中可能涉及到多條知識的特點，提出了一種神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法。首先構(gòu)建電影知識庫和電影知識對話數(shù)據(jù)集，然后編碼器部分采用3?hops記憶神經(jīng)網(wǎng)絡(luò)，用來編碼歷史對話；最后解碼器部分將GRU和3?hops記憶神經(jīng)網(wǎng)絡(luò)相結(jié)合，用GRU的隱藏狀態(tài)作為3?hops的動態(tài)查詢向量，指導(dǎo)響應(yīng)生成。結(jié)果顯示該電影知識智能對話方法不僅解決了生成無意義響應(yīng)的問題，又能保證生成響應(yīng)的多樣性。

技術(shù)領(lǐng)域

本發(fā)明涉及一種神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法，屬于自然語言處理對話領(lǐng)域。

背景技術(shù)

電影產(chǎn)業(yè)的不斷發(fā)展，產(chǎn)生了海量的電影數(shù)據(jù)。這為研究有關(guān)電影知識對話方法提供了豐富的數(shù)據(jù)支持。傳統(tǒng)的任務(wù)型對話系統(tǒng)是由幾個流水線模塊構(gòu)成的：(1)自然語言理解(Natural Language Understanding，NLU)，理解給定的語句并將其映射到預(yù)定義的語義槽中，用來檢測用戶意圖。(2)對話狀態(tài)跟蹤器(Dialogue State Tracking，DST)，它管理每個回合的輸入以及對話歷史并輸出當前對話狀態(tài)。(3)對話政策學習(Dialogue PolicyLearning，DPL)，它根據(jù)當前的對話狀態(tài)學習下一個動作。(4)自然語言生成(NaturalLanguage Generation，NLG)，它將選定的操作映射到其表面并生成響應(yīng)。但是傳統(tǒng)的任務(wù)型對話系統(tǒng)存在幾個問題：一個是信用分配問題，其中最終用戶的反饋很難傳播到每個上游模塊。第二個問題是在將一個組件調(diào)整到新環(huán)境或使用新數(shù)據(jù)重新訓練時，需要相應(yīng)地調(diào)整所有其他組件以確保全局優(yōu)化，插槽和功能可能會相應(yīng)更改。這個過程需要大量的人力。

端到端的面向任務(wù)的對話系統(tǒng)能夠直接在對話數(shù)據(jù)上對模型進行訓練，循環(huán)神經(jīng)網(wǎng)絡(luò)(Recurrent Neural Network，RNN)為端到端的模型做出來巨大貢獻，因為他們能聯(lián)系上下文信息，創(chuàng)建潛在的狀態(tài)表示，免去了人工判斷狀態(tài)標簽。端到端的記憶神經(jīng)網(wǎng)絡(luò)(Memory Natural Network，MemNN)及其變體在閱讀理解任務(wù)上表現(xiàn)出了良好的效果。他們的輸出是生成的一個序列或者是通過選擇一組預(yù)定義的話語。

序列到序列(Seq2Seq)模型用于面向任務(wù)的對話系統(tǒng)時，表現(xiàn)出更好的語言建模能力，但它們在知識庫檢索中不能很好地工作。即便使用復(fù)雜的注意力模型，Seq2Seq也無法將正確的實體映射到輸出。為了緩解這個問題，Gu，Jiatao，Eric，Mihail等人使用了復(fù)制增強的Seq2Seq模型。這些模型通過直接從知識庫復(fù)制相關(guān)信息來輸出響應(yīng)。復(fù)制機制也被用于閱讀理解，機器翻譯和自動摘要等。雖然與對話系統(tǒng)無關(guān)，但與本發(fā)明工作相關(guān)的是基于MemNN的解碼器和非循環(huán)生成模型：1)用于訪問存儲器的Mem2Seq查詢生成階段可被視為存儲器增強神經(jīng)網(wǎng)絡(luò)(MANN)中使用的存儲控制器。然而，電影知識對話模型與這些模型的不同之處在于：它結(jié)合復(fù)制機制使用多跳注意，而其他模型使用單個矩陣表示。2)僅依賴自我注意機制的非復(fù)發(fā)生成模型與MemNN中使用的Multi-hops注意機制有關(guān)。另外，神經(jīng)知識擴散模型(Natural Knowledge Diffusion，NKD)中為了增加生成響應(yīng)的多樣性，在解碼器部分增加了一個控制門。

發(fā)明內(nèi)容

本發(fā)明針對電影知識對話的特點：1)響應(yīng)中涉及大量的專有名詞(如人名，地名等)；2)一條響應(yīng)中可能涉及到多條知識，提出了一種神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法。

為達到上述目的，本發(fā)明采用如下技術(shù)方案：

一種神經(jīng)網(wǎng)絡(luò)電影知識智能對話方法，具體操作步驟如下：

1)將收集的電影數(shù)據(jù)，以三元組的形式存儲成電影知識庫，并構(gòu)建電影知識對話數(shù)據(jù)集；

2)用記憶神經(jīng)網(wǎng)絡(luò)編碼器將歷史對話編碼；

3)將門控循環(huán)單單元(GRU)與記憶神經(jīng)網(wǎng)絡(luò)編碼器結(jié)合，用GRU的隱藏狀態(tài)作為記憶神經(jīng)網(wǎng)絡(luò)的動態(tài)查詢向量，直到響應(yīng)生成。