[發明專利]一個基于記憶神經網絡的對話式信息檢索的方法

有效

• 申請號: 201911406907.7
• 申請日: 2019-12-31
• 公開（公告）號: CN111177357B
• 公開（公告）日: 2023-05-23
• 發明（設計）人: 竇志成;文繼榮
• 申請（專利權）人: 中國人民大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/335;G06N3/0464;G06N3/0442;G06N3/08
• 代理公司: 北京中創陽光知識產權代理有限責任公司 11003
• 代理人: 尹振啟

1.一種基于記憶神經網絡的對話式信息檢索的方法，其特征在于，通過建立檢索模型，所述檢索模型包括用戶總體查詢意圖建模、當前查詢特定意圖建模和統計特征引入，所述用戶總體查詢意圖建模利用用戶的歷史查詢和歷史點擊信息建模會話內用戶的整體查詢意圖，所述當前查詢特定意圖建模通過對當前查詢詞分析，找到最能表示當前特定查詢意圖的查詢詞來與文檔進行交互，所述統計特征引入用于直接地衡量候選文檔與整個查詢序列的關系；

所述用戶總體查詢意圖建模的具體方式為，首先對查詢與文檔語句進行表示，查詢q＝{w₁,w₂,…,w_l}，其中w_t表示查詢中的第t個詞，使用graph?embedding的方式得到對應詞向量表示x_t，所述graph?embedding構建圖時將處于同一查詢以及同一文檔中的詞之間連成邊，每個詞作為一個結點，使用雙向LSTM處理詞向量矩陣，得到每個詞對應的隱含層向量表示由前向LSTM與后向LSTM模型得到的隱含層向量拼接而成，每個方向LSTM隱含層的向量通過遺忘門、輸入門、輸出門三個門進行控制，它的計算過程如下：

其中的tanh()和σ()是激活函數，公式中的所有W矩陣和向量都是待訓練的參數，表示t時刻的輸出門向量，表示t時刻的上下文向量，表示t時刻的輸入門向量，表示t時刻的遺忘門向量，由此得到查詢q中每個詞的隱含層表示H_q＝{h₁,h₂,…,h_l}；所述l為正整數，

隨后使用注意力機制將隱含層向量連接起來，得到查詢q的表示向量r_q:

其中，A＝Softmax(v^TH_qW_a),A＝[α₁,α₂,…,α_l]

所有歷史查詢的表示所有歷史點擊文檔的表示其中n_i表示第i個查詢對應的點擊文檔數量，表示第k個查詢對應的第i個點擊文檔，所述當前查詢的表示以及候選文檔表示在對所有查詢進行編碼時使用的雙向LSTM模型參數相同，并且對所有文檔進行編碼時使用的雙向LSTM模型參數也相同；

對同一歷史查詢對應的所有的歷史點擊文檔表示求均值，得到key-value記憶神經網絡中存儲的值矩陣V：

V＝[v₁,v₂,…v_t-1]，

其中所述k為正整數，對應的鍵值矩陣K為歷史查詢的表示選取與當前查詢語義更相近的歷史查詢，讀取相應鍵值的記憶單元，將這些記憶單元通過加權合得到總體的記憶向量表示r_m:

最后將得到的記憶向量表示與候選文檔表示向量進行交互，衡量候選文檔與用戶總體查詢意圖的相似程度為所述W₁表示待訓練的參數。

2.如權利要求1所述的方法，其特征在于，所述當前查詢特定意圖建模的具體方式為，為每個查詢詞引入了權重a^new衡量對應詞匯的新鮮度，計算方式如下：

其中X_h表示歷史查詢中出現過的所有詞的詞向量，所述W₂為參數，為歷史查詢中出現的第i個詞，X_h為歷史查詢中出現的所有詞的集合，x_t表示當前查詢中的第t個詞；

然后計算當前查詢與候選文檔的相關度，對二者詞向量矩陣進行交互得到相似度矩陣M：

所述W₃為待訓練的參數，為當前查詢中第i個詞的表示，為候選文檔中第j個詞的表示；

隨后使用多個高斯核來統計不同分布下詞向量的相似程度，得到k維匹配特征

其中所述μ_k和分別表示第k個高斯核的均值和方差，將得到的k維匹配特征通過全連接層，得到當前查詢與候選文檔的相似度所述W₃和b均為待訓練的參數。

3.如權利要求2所述的方法，其特征在于，所述統計特征引入為引入了114維統計特征，將這114維特征通過多層感知機，得到1維匹配特征f₃，其中57維特征是衡量整篇候選文檔與用戶查詢序列的關系，另外57維特征是衡量候選文檔第一句話與用戶查詢序列的關系；最后將所述特征f₁、f₂、f₃通過全連接層得到最終的匹配分數。