[發明專利]一種基于長短時記憶信息的個性化對話生成方法和系統

有效

• 申請號: 202010927235.0
• 申請日: 2020-09-07
• 公開（公告）號: CN112115247B
• 公開（公告）日: 2023-10-10
• 發明（設計）人: 竇志成;李小禾
• 申請（專利權）人: 中國人民大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/284;G06N3/0455;G06N3/0442;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 趙悅

1.一種基于長短時記憶信息的個性化對話生成方法，其特征在于，包括以下步驟：

S1將輸入文本和用戶對話歷史的文本表示為句子向量；

S2將所述輸入文本進行編碼獲得感知記憶信息；

S3在所述用戶對話歷史的文本中篩選出與所述輸入文本最相似的歷史作為當前輸入下用戶的長時記憶，將所述長時記憶進行編碼得到長時記憶信息；

S4將與所述輸入文本時間上最為接近的所述用戶對話歷史進行編碼得到用戶的短時記憶信息；

S5將所述感知記憶信息、長時記憶信息和短時記憶信息在每個生成時刻更新并與之前時刻的輸出信息一同進行解碼，從而生成具有用戶個性的對話。

2.如權利要求1所述的基于長短時記憶信息的個性化對話生成方法，其特征在于，所述步驟S2中獲得感知記憶信息的方法為：所述輸入文本進入Seq2Seq模型進行編碼得到用戶對所述輸入文本的感知信息，并將所述感知信息帶入注意力機制，將其合并為解碼過程生成回復的不同時刻的感知記憶信息。

3.如權利要求2所述的基于長短時記憶信息的個性化對話生成方法，其特征在于，所述感知記憶編碼模塊的公式為：

其中，表示在編碼器的不同時刻i輸入信息的中間隱含狀態向量，n為輸入的長度；x_i為在時刻i輸入的詞；φ(·)表示獲取單詞詞向量的函數；表示在解碼j時刻模型關于輸入的感知記憶信息；s_j表示解碼j時刻解碼器的隱含狀態，GRU(·)為門控循環單元函數，Attn(·)為注意力機制函數。

4.如權利要求1所述的基于長短時記憶信息的個性化對話生成方法，其特征在于，所述步驟S3中用戶對話歷史的文本與輸入文本的相似性的判斷方法為：將所述輸入文本映射到與所述用戶對話歷史的文本相同的向量空間中，以單詞的逆文檔頻率來衡量輸入文本與用戶對話歷史的文本的相似性，所述單詞的逆文檔頻率idf的計算公式為：

其中，a、b、c分別表示詞表中單詞的序號，文檔集合中文檔的序號和句子w中單詞的序號；D＝{d₁，d₂，...}為整個文檔集合；{b：w_a∈d_b}為包含單詞w_a的文檔d_b的集合；∈(·)表示計算句子w的句子向量的函數；φ(·)表示獲取單詞詞向量的函數。

5.如權利要求4所述的基于長短時記憶信息的個性化對話生成方法，其特征在于，所述步驟S3中得到長時記憶信息的方法為：將所述輸入文本映射到與所述用戶對話歷史的文本相同的向量空間中，分別計算所述輸入文本與用戶的歷史回復以及與所述歷史回復對應的其他用戶的輸入的句子的相似度，其計算公式為：

其中，p_l和r_l分別表示用戶對話歷史數據的其他用戶輸入歷史和用戶回復歷史，L為對話歷史的數目；表示輸入文本X與其他用戶輸入歷史p_l的相似度；表示輸入文本X與該用戶回復歷史r_l的相似度；sc_l表示輸入文本與第l條用戶對話歷史整體的相似度，通過平衡因子α來調整和的權重；

得到輸入文本X與用戶對話歷史相似度分布sc＝{sc₁，sc₂，...，sc_L}后，取相似度最高的前K個對話歷史，保留其時間順序，將當前用戶的回復歷史R_long＝{r₁，r₂，...，r_K}作為長時記憶信息。