[發明專利]一種基于層次化注意力機制的多輪對話模型構建方法

在審

• 申請號: 201710986813.6
• 申請日: 2017-10-20
• 公開（公告）號: CN107766506A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 張偉男;汪意發;朱慶福;劉挺
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 哈爾濱市松花江專利商標事務所23109
• 代理人: 楊立超

技術領域

本發明涉及人機對話系統，具體涉及一種基于層次化注意力機制的多輪對話模型構建方法。

背景技術

1、國外技術現狀

(1)基于人工模板的對話系統

基于人工模板的技術通過人工設定對話場景，并對每個場景寫一些針對性的對話模板，模板描述了用戶可能的問題以及對應的答案模板。

Weizenbaum等人(1966)開發出最早的聊天機器人ELIZA，ELIZA根據對話中可能出現的語言情況，去預先設計對應的語言模板，文本生成器會根據用戶的輸入將輸入中的重要信息嵌入到模板中，最終得到回復。

他們都將聊天限制到特定場景或者特定的話題，并且使用一組模板規則來生成響應。

(2)基于檢索的對話系統

基于檢索技術的聊天機器人則使用是類似搜索引擎的方法，事先存儲好對話庫并建立索引，根據用戶問句，在對話庫中進行模糊匹配找到最合適的應答內容。

Shaikh等人(2010)構建了一個虛擬聊天機器人(VCA)，可以在聊天室中與人們進行初步的社交，他們使用一種新穎的方法來利用正在進行的對話主題來進行網絡搜索，并找到可以插入對話中的相關主題來改變其流程，可以看作是基于檢索和以及模板方法的融合。

(3)基于深度學習的對話生成模型

深度學習技術在對話生成中的應用主要是面向開放域聊天機器人，因為大規模通用語料的獲取較為容易，最常用的借鑒機器翻譯的Sequence to Sequence模型，將對話生成的由問題到回復的整個過程視為機器翻譯中從源語言到目標語言的翻譯過程。

Ritter等人(2011)使用了從Twitter中獲取的對話語料，利用Seq2Seq模型使得效果超過了基于檢索系統的對話模型。

Sordoni等人(2015)提出一個對話生成系統，該系統考慮到了對話中的上下文信息，從而在回復一致性上取得提升。

Serban等人(2016)提出了Hierarchical Nerual Network模型，旨在對對話中上下文的語義和交互進行建模，從而構建一個多輪的對話系統。

Jiwei Li等人(2016)致力于解決傳統Seq2Seq模型生成通用回復的問題，引入了互信息作為目標函數，提高了生成回復的多樣性。同時Jiwei Li(2016)使用改進的Seq2Seq模型對用戶風格進行了建模，在解碼端引入了用戶embedding作為先驗，從而提高了對話系統的一致性和相關性。

Louis Shao等人(2017)改進了Seq2Seq模型的訓練方法和decode端，并且加入了beam-search，從而提高模型生成的回復長度以及一致性和相關性。

2、國內技術現狀

國內因為起步較晚，在對話系統方面的研究也主要是基于深度學習的方法，Li Hang等人(2015)提出了Neural Responding Machine，使用改進的Seq2Seq模型，加入Attention機制并使用多個模型進行融合從而在短文本對話系統上取得了不錯的結果。

Mou Lili(2016)著眼于解決傳統Seq2Seq模型生成通用回復的問題，提出先Seq2Bf模型，通過使用互信息先預測關鍵詞，再基于關鍵詞進行回復句子的生成。

同時Zongcheng Ji(2014)則使用基于檢索的方法，使用最先進的信息檢索技術，依靠龐大的對話語料庫，創建了一個相對智能的對話系統。

3、國內外文獻綜述的簡析

目前國內外對于開放域對話生成系統的研究主要包括基于模板的方法，基于檢索的方法以及基于深度學習的方法。早期時的基于模板的方法沒有進行真正的語言處理，生成的語言僵硬，形式化，往往存在語義和流暢度方面的問題，相對于開放域對話系統，該方法更適合任務型聊天機器人。

基于檢索的方法是在已有的人人對話語料庫中通過排序學習技術和深度匹配技術找到適合當前輸入的最佳回復。這種方法的局限是僅能以固定的語言模式進行回復，無法實現詞語的多樣性組合。

目前最流行的方法是基于深度學習的方法，使用來自機器翻譯任務的Seq2Seq模型，一般是Encoder-Decoder結構，配合較大規模的對話語料，用于實現端到端的訓練，從而獲得一個對話系統。該方法能夠突破之前的方法對于句式詞語的限制，主要是對用戶輸入的問題進行建模，然后根據中間結果進行逐字(詞)的生成，可以創造性地生成回復，目前絕大多數研究都是基于該模型的拓展或者改進。