[發明專利]一種基于靜態-動態注意力變分網絡的對話生成方法

有效

• 申請號: 201911250610.6
• 申請日: 2019-12-09
• 公開（公告）號: CN111143509B
• 公開（公告）日: 2023-06-30
• 發明（設計）人: 賀瑞芳;王瑞芳;常金鑫;王龍標;黨建武
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/332;G06F40/30;G06F40/205
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 劉子文

本發明公開一種基于靜態?動態注意力變分網絡的對話生成方法，包括如下步驟：1)構建上下文理解模塊：利用包括句子編碼器和上下文編碼器構成的分層編碼器，編碼輸入的上下文，得到關于對話上下文的歷史向量；2)構建主旨提取模塊：引入基于vMF分布的識別/先驗(recognition/prior)網絡和靜態注意力機制得到全局結構信息的潛在表示和關于回復中心思想的主旨表示；3)構建回復生成模塊：結合解碼器、動態注意力機制，將歷史向量，潛在表示和主旨表示作為輸入，捕獲局部產生更加多樣性和有意義的回復。該對話生成方法利用靜態和動態注意力機制從全局和局部的角度捕獲相關信息，生成更加語義相關和多樣化的回復。其實驗結果在相較現在的模型在各項實驗指標上取得了更好的結果。

技術領域

本發明涉及自然語言處理以及對話系統技術領域，具體為一種基于靜態-動態注意力變分網絡的對話生成方法。

背景技術

目前人工智能與深度學習順應了互聯網時代潮流，智能對話系統已經成為目前人工智能領域中非常熱門的處理技術，相對于傳統的頁面簡單交互，智能對話系統更加自然和靈活。例如Siri、Cortana和Google?Now，它們的作用是提供各種被動性和主動性的幫助，以輔助用戶在多個垂直領域完成任務。該類對話系統是目標導向型的，對話的目的是在有限的輪次內解決某些問題，主要采用的是空位填槽的方式，每個空位代表了一個特征量。這類系統只適合于特定問題，很難推廣到其他應用場景下，例如推薦電影的對話系統不能實現餐廳預訂。

隨著社交網絡的發展，面向開放域的對話系統^[1]吸引了越來越多的研究者的關注。該類對話系統旨在與人類就廣泛的主題進行自然和一致的互動，可以滿足用戶對于溝通、情感及社會歸屬感的感性需求。面向開放域對話系統的主要技術包括：(1)基于檢索的方法：根據用戶給出的話語與數據庫中的候選回復進行匹配，選擇匹配分數最高的一項作為回復；(2)基于生成的方法：利用基于encoder-decoder框架的seq2seq模型^[2]，根據用戶的輸入直接生成輸出；(3)混合方法：將檢索和生成方法結合在一起得到最終的回復^[3]。

開放域對話系統研究重點是產生更加多樣化且與主題一致的回復。多樣性使得產生的回復新穎性更強，一致性讓回復與用戶上下文更相關。基于檢索的方法生成效果更為穩定，但是無法獲得數據庫之外的回答；基于生成的方法會生成一些敷衍式的沒有太多信息量的無用語句，這不滿足回復的多樣性并且無法有效利用上下文中的主旨信息。

發明內容

本發明的目的是為了克服現有技術中的不足，提供一種基于靜態-動態注意力變分網絡的對話生成方法，其利用靜態-動態注意力變分網絡提取主旨信息并生成回復，得到的對話生成結果相較于現有模型在Average，Greedy，Extreme，Distinct-1和Distinct-2這5個指標中的結果最好。

本發明的目的是通過以下技術方案實現的：

一種基于靜態-動態注意力變分網絡的對話生成方法，包括以下步驟：

(1)構建上下文理解模塊：

上下文理解模塊是利用句子編碼器和上下文編碼器對訓練語料中的對話上下文進行編碼得到關于對話上下文的歷史向量l_n；該模塊中給定對話上下文x＝(x₁,x₂,…x_i,…,x_n)，其中n表示上下文中句子的個數，x_i＝(x_i,1,x_i,2,…,x_i,Ni)表示句子x_i中有Ni個單詞；生成回復y＝(y₁,y₂,…,y_i,…,y_m)，其中y_i表示回復中的第i個單詞，m表示回復中單詞的個數；

(2)構建主旨提取模塊：