[發明專利]一種基于深度學習方法的生成型聊天機器人

有效

• 申請號: 202011424143.7
• 申請日: 2020-12-08
• 公開（公告）號: CN112364148B
• 公開（公告）日: 2022-05-24
• 發明（設計）人: 包鐵;于洪江;彭濤;白詩瑤;崔海
• 申請（專利權）人: 吉林大學
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/157;G06F40/211;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京華際知識產權代理有限公司 11676
• 代理人: 俞璇

1.一種基于深度學習方法的生成型聊天機器人，其特征在于，包括歷史對話編碼、知識選擇、知識編碼和對話生成，所述歷史對話編碼首先將歷史對話拼接，然后將其轉化為向量表示，之后利用雙向門控神經單元對歷史對話進行編碼，并經過一個注意力層得到其表示，再對歷史對話中的每個對話表示經過一個雙向門控神經單元，同樣并經過一個注意力層，得到最終的歷史對話表示；

知識選擇從知識庫中檢索出與當前文本相似程度最高的知識作為當前的對話背景知識庫，使用相似度匹配算法對候選的知識進行排序，按照一定的閾值選取最終的背景知識作為輔助回答的知識庫；

知識編碼將選取的離散背景知識進行編碼，首先利用word2vec預訓練詞向量進行編碼，在知識量較少時手動構建字典，然后經過一層雙向門控神經單元獲取上下文特征，再分別經過一層雙向門控神經單元以及膠囊網絡層提取深層特征，最后拼接兩個網絡層的輸出計算注意力得到最終的知識表示；

對話生成將歷史對話編碼以及知識編碼的輸出拼接作為完整的歷史對話信息表示，然后利用其初始化decoder，decoder也是一個雙向門控神經單元結構，基于decoder每時刻的輸出的計算概率找到最終的生成詞；

所述歷史對話編碼中首先利用word2vec預訓練詞向量對歷史對話進行編碼，然后對單詞級和句子級的特征進行層級提取；第一層為單詞級別的特征提取，將歷史對話拼接作為雙向門控神經單元的輸入，獲取單詞之間的聯系，然后通過一個詞級別的注意力層捕捉關鍵單詞，得到句子表示，以第i個句子舉例，具體公式為：

x_i，j＝Embedding(w_i，j) j∈[1，l] (1)

u_i，j＝tanh(W_sh_i，j+b_s) (5)

其中l表示第i個句子的token數，u_w是單詞的全局特征向量，維度與h_i，j的維度一致，并在訓練之前隨機初始化，訓練中不斷迭代更新，s_i作為第i個句子的表示；

第二層為句子級別的特征提取，GRU的輸入不再是歷史對話拼接，而是每個對話的表示，假設一共有N個句子，那么輸入即為(S₁,...,S_N)，獲取句子之間的聯系，然后通過一個句級別的注意力層捕捉關鍵句子，得到歷史對話表示，具體公式是

u_i＝tanh(W_sh_i+b_s) (11)

ctv即為歷史對話編碼器得到的最終表示；

所述知識選擇采用BM25算法衡量候選知識和歷史對話的相似度，并選擇top-k作為背景知識融入到歷史對話中；

若用Q表示輸入的歷史對話序列，w_i代表歷史對話序列的中的某個詞語；

k表示候選的某一條知識序列，則BM25的算法公式為(14)，其中a_i代表w_i的權重，用IDF表示；

IDF的計算公式采用(15)所示，其中N表示全部的候選背景知識數，n(w_i)代表包含w_i的知識條數，單詞w_i與知識k的相關性得分R(w_i，k)的計算公式為式(16)所示，其中dl表示知識文本的長度，avgdl表示所有知識文本的平均長度，綜上，BM25算法公式為式(17)所示；

提出了一種基于BM25的改進算法，讓實體的相似度對最終結果產生較大的影響，計算歷史對話與知識的編輯距離平方，將其倒數作為參數加入到BM25算法公式中，最后改進的BM25算法是：

2.根據權利要求1所述的一種基于深度學習方法的生成型聊天機器人，其特征在于，所述對話生成為對話生成解碼器，在初始化時利用歷史對話以及知識編碼的拼接，提供更多的知識，與知識編碼結構保持一致，對話生成解碼器采用雙向門控神經單元來獲取最終的解碼狀態，最后計算出最終的生成詞。