[發明專利]一種基于多回復解碼器的對話系統

在審

• 申請號: 202210610767.0
• 申請日: 2022-05-31
• 公開（公告）號: CN114969292A
• 公開（公告）日: 2022-08-30
• 發明（設計）人: 蔡鐵城;姚震;陳志豪;楊州;廖祥文
• 申請（專利權）人: 福州大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06N3/04;G06N3/08
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種基于多回復解碼器的對話系統。數據預處理模塊對系統回復和用戶對話進行去詞化操作；對話編碼器模塊負責編碼歷史對話信息，將對話文本序列映射為對應時間步的隱藏狀態表征向量；對話狀態解碼器模塊負責根據對話編碼器的輸出和上一輪對話狀態，解碼出本輪對話狀態；外部數據庫模塊，負責根據對話狀態解碼器的輸出查詢滿足用戶要求的所有實體，以三元組（領域，槽，槽值）的形式存儲；系統動作解碼器模塊，負責根據對話狀態解碼器的輸出、數據庫的返回結果和本輪用戶對話解碼出本輪系統動作；系統回復生成模塊，由全局回復解碼器、專業子解碼器及通道選擇網絡組成。本發明能夠提高系統回復的準確性，提高用戶和系統的交互效率。

技術領域

本發明涉及人機對話領域，具體涉及一種基于多回復解碼器的對話系統。

背景技術

對話系統的研究旨在讓機器理解人類語言，并且賦予機器人和人類一樣的語言表達能力，并且幫助人類完成各類任務。對對話系統在任務的要求是，給定一句話或者幾句話，機器能夠根據這幾句話以及自身的知識系統，給出一個合理的回復(或是生成簡單的操作指令)。對話系統的發展改變了人機交互的方式，具有廣泛的實際應用價值，現已有很多典型應用，如蘋果智能語音助手——Siri，小米智能家居的大腦——小愛以及微軟強大的面向交互全程的人工智能交互主體框架——小冰。任務型對話系統的研究主要有兩種方法：管道型方法和基于端到端的對話模型。下面將對著兩種建模方法做簡要介紹。

管道模型主要有四個核心組件：1)自然語言理解(Natural LanguageUnderstanding,NLU)：對用戶的文本輸入進行識別解析，得到槽值對(slot-valuepairs)和意圖等計算機可理解的語義標簽；2)對話狀態跟蹤(Dialog State Tracking,DST)：根據對話歷史，維護當前對話狀態，對話狀態是對整個對話歷史的累積語義表示，一般就是槽值對(slot-value pairs)；3)對話策略(Dialogue Policy)：根據當前對話狀態輸出下一步系統動作。一般對話狀態跟蹤模塊和對話策略模塊統稱為對話管理模塊(Dialogue manager,DM)；4)自然語言生成(Natural Language Generation,NLG)：將系統動作轉換成自然語言輸出。這種模型的缺點是不夠靈活，各個模塊之間相對獨立，難以聯合調優，適應變化的應用場景。并且由于模塊之間的誤差會層層累積，單一模塊的升級也可能需要整個系統一起調整。

任務型對話系統的另一種實現是端到端系統，這類結構受到開放域對話系統研究的啟發，開放域對話系統使用神經模型以端到端方式構建系統，不進行模塊化設計，希望訓練一個從用戶端自然語言輸入到機器端自然語言輸出的整體映射關系，具有靈活性強、可拓展性高的特點，減少了設計過程中的人工成本，打破了傳統模塊之間的隔離。面向任務的對話系統的端到端方法大多采用Seq2seq神經網絡作為基礎結構框架。然而，端到端模型對數據的數量和質量要求很高，并且對于填槽、API調用等過程的建模不夠明確，最終導致用戶與系統之間交互周期長、系統回復不準確、缺乏多樣性以及易生成無用回復等問題。

發明內容

本發明的目的在于提供一種基于多回復解碼器的對話系統，系統能夠在每一輪對話中生成多個候選回復，并能夠選擇出其中最符合用戶需求的一個候選回復，最終實現提高系統回復的準確性，提高用戶和系統的交互效率。

為實現上述目的，本發明的技術方案是：一種基于多回復解碼器的對話系統，包括：

數據預處理模塊，對系統回復和用戶對話進行去詞化操作，降低由于語言表達的多樣性給對話系統帶來的干擾；

對話編碼器模塊，負責編碼歷史對話信息，將對話文本序列映射為對應時間步的隱藏狀態表征向量；

對話狀態解碼器模塊，負責根據對話編碼器模塊的輸出和上一輪對話狀態，解碼出本輪對話狀態；本輪對話狀態包含四類信息，分別是：1)用戶對話中涉及的對話領域信息、2)用戶動作信息、3)確信狀態、4)數據庫查詢結果；