[發明專利]一種神經網絡電影知識智能對話方法

在審

• 申請號: 201911375183.4
• 申請日: 2019-12-27
• 公開（公告）號: CN111191015A
• 公開（公告）日: 2020-05-22
• 發明（設計）人: 王璐;謝志峰;丁友東
• 申請（專利權）人: 上海大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/31;G06F40/126;G06N3/04
• 代理公司: 上海上大專利事務所(普通合伙) 31205
• 代理人: 陸聰明

本發明針對電影知識對話響應中涉及大量的專有名詞（如人名，地名等）且一條響應中可能涉及到多條知識的特點，提出了一種神經網絡電影知識智能對話方法。首先構建電影知識庫和電影知識對話數據集，然后編碼器部分采用3?hops記憶神經網絡，用來編碼歷史對話；最后解碼器部分將GRU和3?hops記憶神經網絡相結合，用GRU的隱藏狀態作為3?hops的動態查詢向量，指導響應生成。結果顯示該電影知識智能對話方法不僅解決了生成無意義響應的問題，又能保證生成響應的多樣性。

技術領域

本發明涉及一種神經網絡電影知識智能對話方法，屬于自然語言處理對話領域。

背景技術

電影產業的不斷發展，產生了海量的電影數據。這為研究有關電影知識對話方法提供了豐富的數據支持。傳統的任務型對話系統是由幾個流水線模塊構成的：(1)自然語言理解(Natural Language Understanding，NLU)，理解給定的語句并將其映射到預定義的語義槽中，用來檢測用戶意圖。(2)對話狀態跟蹤器(Dialogue State Tracking，DST)，它管理每個回合的輸入以及對話歷史并輸出當前對話狀態。(3)對話政策學習(Dialogue PolicyLearning，DPL)，它根據當前的對話狀態學習下一個動作。(4)自然語言生成(NaturalLanguage Generation，NLG)，它將選定的操作映射到其表面并生成響應。但是傳統的任務型對話系統存在幾個問題：一個是信用分配問題，其中最終用戶的反饋很難傳播到每個上游模塊。第二個問題是在將一個組件調整到新環境或使用新數據重新訓練時，需要相應地調整所有其他組件以確保全局優化，插槽和功能可能會相應更改。這個過程需要大量的人力。

端到端的面向任務的對話系統能夠直接在對話數據上對模型進行訓練，循環神經網絡(Recurrent Neural Network，RNN)為端到端的模型做出來巨大貢獻，因為他們能聯系上下文信息，創建潛在的狀態表示，免去了人工判斷狀態標簽。端到端的記憶神經網絡(Memory Natural Network，MemNN)及其變體在閱讀理解任務上表現出了良好的效果。他們的輸出是生成的一個序列或者是通過選擇一組預定義的話語。

序列到序列(Seq2Seq)模型用于面向任務的對話系統時，表現出更好的語言建模能力，但它們在知識庫檢索中不能很好地工作。即便使用復雜的注意力模型，Seq2Seq也無法將正確的實體映射到輸出。為了緩解這個問題，Gu，Jiatao，Eric，Mihail等人使用了復制增強的Seq2Seq模型。這些模型通過直接從知識庫復制相關信息來輸出響應。復制機制也被用于閱讀理解，機器翻譯和自動摘要等。雖然與對話系統無關，但與本發明工作相關的是基于MemNN的解碼器和非循環生成模型：1)用于訪問存儲器的Mem2Seq查詢生成階段可被視為存儲器增強神經網絡(MANN)中使用的存儲控制器。然而，電影知識對話模型與這些模型的不同之處在于：它結合復制機制使用多跳注意，而其他模型使用單個矩陣表示。2)僅依賴自我注意機制的非復發生成模型與MemNN中使用的Multi-hops注意機制有關。另外，神經知識擴散模型(Natural Knowledge Diffusion，NKD)中為了增加生成響應的多樣性，在解碼器部分增加了一個控制門。

發明內容

本發明針對電影知識對話的特點：1)響應中涉及大量的專有名詞(如人名，地名等)；2)一條響應中可能涉及到多條知識，提出了一種神經網絡電影知識智能對話方法。

為達到上述目的，本發明采用如下技術方案：

一種神經網絡電影知識智能對話方法，具體操作步驟如下：

1)將收集的電影數據，以三元組的形式存儲成電影知識庫，并構建電影知識對話數據集；

2)用記憶神經網絡編碼器將歷史對話編碼；

3)將門控循環單單元(GRU)與記憶神經網絡編碼器結合，用GRU的隱藏狀態作為記憶神經網絡的動態查詢向量，直到響應生成。