[發明專利]一種基于深度學習方法的生成型聊天機器人

有效

• 申請號: 202011424143.7
• 申請日: 2020-12-08
• 公開（公告）號: CN112364148B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 包鐵;于洪江;彭濤;白詩瑤;崔海
• 申請（專利權）人: 吉林大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/157;G06F40/211;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京華際知識產權代理有限公司 11676
• 代理人: 俞璇

本發明公開了一種基于深度學習方法的生成型聊天機器人，包括歷史對話編碼、知識選擇、知識編碼和對話生成，所述歷史對話編碼首先將歷史對話拼接，然后將其轉化為向量表示，之后利用雙向門控神經單元對歷史對話進行編碼，并經過一個注意力層得到其表示，再對歷史對話中的每個對話表示經過一個雙向門控神經單元，同樣并經過一個注意力層，得到最終的歷史對話表示。本發明在傳統seq2seq模型的基礎上，通過引入外部知識與知識編碼器的方式對上述問題進行改善，首先知識編碼器在知識選擇時會保存對話主題，相當于保存了歷史對話中的關鍵信息。

技術領域

本發明涉及人工智能技術領域，具體涉及一種基于深度學習方法的生成型聊天機器人。

背景技術

隨著互聯網、信息通訊以及人工智能技術的發展，人機對話系統與生俱來的自然便捷性，使其作為一種與計算設備交流的新型方式，被認為是繼鼠標鍵盤敲擊、屏幕觸控之后，未來的新一代交互范式。人機對話技術已經被工業界應用到各種類型的產品服務中。人們耳熟能詳的有蘋果公司的Siri、微軟的Cortana、谷歌的Allo和百度的度秘等個人助理系統，還包括亞馬遜的Echo智能家居服務系統以及阿里巴巴的小蜜電商智能客服系統等。這些人機對話產品給人們的日常生活帶來了極大的便利性，影響著數以億計的消費者用戶。根據其具體應用，對話系統大致可以分為兩類：(1)面向任務的系統和(2)非面向任務的系統(也稱為聊天機器人)。其中，非面向任務的對話系統與人類交互，提供合理的回復和娛樂消遣功能，通常情況下主要集中在開放的領域與人交談。雖然非任務導向的系統似乎在進行聊天，但是它在許多實際應用程序中都發揮了作用。例如，在網上購物場景中，近80％的話語是聊天信息，處理這些問題的方式與用戶體驗密切相關。

一般來說，對于非任務導向型對話系統，目前主要有兩種構建方法：

1)基于檢索的方法，從事先定義好的索引中進行搜索，學習從當前對話中選擇回復。檢索型方法的缺點在于它過于依賴數據質量，如果選用的數據質量欠佳，那就很有可能前功盡棄；

2)生成方法，在對話過程中產生合適的回復，和檢索型聊天機器人不同的是，它可以生成一種全新的回復。

當前，對話系統在各個領域越來越引起人們的重視，深度學習技術的不斷進步極大地推動了對話系統的發展。對于對話系統，深度學習技術可以利用大量的數據來學習特征表示和回復生成策略，這其中僅需要少量的手工操作。因此，基于深度學習的生成型聊天機器人是發展的趨勢所在。

此外，知識圖譜作為當代人工智能領域的重要組成部分，無論是自然語言處理領域還是在其他研究領域，都有著出色的表現。知識圖譜可以作為人工智能智能應用強大的核心，也可以作為互聯網系統很好的輔助。

基于深度學習方法的生成型聊天機器人一般是基于傳統的序列到序列模型進行構建。seq2seq模型是由Google Brain團隊和Yoshua Bengio兩個團隊各自獨立的提出，該模型突破了傳統的固定大小輸入問題框架，開通了將經典深度神經網絡模型運用于翻譯與職能問答這一類序列型任務的先河，不僅在機器翻譯任務中表現優異，在聊天機器人，文本生成等自然語言處理領域的生成任務中都被證實有著非常好的表現。

但直接將seq2seq模型應用到聊天機器人存在著以下問題：

1)易產生無關緊要的或不明確的、通用的、沒有意義的回復，如“我不知道”、“哈哈”這樣的無實際含義的回復；

2)聊天機器人一般都是多輪對話，針對多輪數長對話，模型難以保存之前的記憶，可能會導致前后對話主題不一致；

3)針對同一主題的不同表述，可能會得到不一樣的結果。

問題1和3的出現主要是因為模型不像人類一樣擁有一定的先驗知識，而問題2則是因為傳統的seq2seq是基于深度神經網絡(遞歸神經網絡(RNN))等進行序列的編碼，在輪數過多或者對話過長時，無法捕捉對話的全部信息。

發明內容