[發明專利]針對多輪對話生成回復語句的方法和裝置

有效

• 申請號: 202010410108.3
• 申請日: 2020-05-15
• 公開（公告）號: CN111400481B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 林謝雄;簡葳玙;何建杉;王太峰
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 孫欣欣;周良玉

本說明書實施例提供一種針對多輪對話生成回復語句的方法和裝置，方法包括：獲取歷史上下文；對歷史上下文基于注意力機制進行編碼，得到歷史上下文對應的上下文向量，以及歷史上下文對應的第一分詞序列的編碼注意力分布；對候選知識集合中的各候選知識基于注意力機制進行編碼，得到候選知識集合對應的知識融合向量，以及候選知識集合對應的第二分詞序列的知識注意力分布；針對回復語句進行逐詞預測，其中每次預測包括：對于擴充詞表中每個候選詞，得到將該候選詞作為下一個詞的預測概率；擴充詞表包括，用于生成候選詞的初始詞表，第一分詞序列中各分詞，以及第二分詞序列中各分詞。在針對多輪對話生成回復語句時能夠處理詞匯不足單詞。

技術領域

本說明書一個或多個實施例涉及計算機領域，尤其涉及針對多輪對話生成回復語句的方法和裝置。

背景技術

當前，在智能客服中，由機器與用戶進行對話，解答用戶問題，由于用戶的表達口語化，一輪對話往往無法明確用戶訴求，需要機器與用戶之間進行多輪對話，才能最終解答用戶問題。

現有技術中，常常采用生成式模型針對多輪對話生成回復語句。生成式模型可以生成用戶問句中沒有的詞語，但是生成的回復語句可能不能準確地再現細節,無法處理詞匯不足（out-of-vocabulary，OOV）單詞。

因此，希望能有改進的方案，在針對多輪對話生成回復語句時能夠處理詞匯不足單詞。

發明內容

本說明書一個或多個實施例描述了一種針對多輪對話生成回復語句的方法和裝置，在針對多輪對話生成回復語句時能夠處理詞匯不足單詞。

第一方面，提供了一種針對多輪對話生成回復語句的方法，方法包括：

獲取多輪對話中包含當前用戶問句的歷史上下文；

對所述歷史上下文基于注意力機制進行編碼，得到所述歷史上下文對應的上下文向量，以及所述歷史上下文對應的第一分詞序列的編碼注意力分布；

對候選知識集合中的各候選知識基于注意力機制進行編碼，得到所述候選知識集合對應的知識融合向量，以及所述候選知識集合對應的第二分詞序列的知識注意力分布；

針對回復語句進行逐詞預測，其中每次預測包括：

通過指針生成網絡，分別生成當前的第一指針和第二指針，第一指針指示根據歷史上下文生成下一個詞的概率，第二指針指示根據候選知識集合生成下一個詞的概率；

對于擴充詞表中每個候選詞，至少根據所述上下文向量、所述知識融合向量預測生成該候選詞的第一概率；根據第一指針和編碼注意力分布，確定從歷史上下文中復制該候選詞的第二概率，根據第二指針和知識注意力分布，確定從候選知識集合中復制該候選詞的第三概率，并根據所述第一概率，第二概率和第三概率，得到將該候選詞作為下一個詞的預測概率；其中所述擴充詞表包括，用于生成候選詞的初始詞表，第一分詞序列中各分詞，以及第二分詞序列中各分詞；

根據擴充詞表中各個詞的預測概率，預測下一個詞。

在一種可能的實施方式中，所述歷史上下文還包括至少一輪的歷史用戶問句和歷史回復語句。

在一種可能的實施方式中，所述對候選知識集合中的各候選知識基于注意力機制進行編碼之前，所述方法還包括：

提取所述歷史上下文中的實體詞或關鍵詞；

根據所述實體詞或關鍵詞，確定與所述歷史上下文相關的所述候選知識集合。

在一種可能的實施方式中，所述候選知識包括：句子形式的候選知識或三元組形式的候選知識；所述三元組形式的候選知識包括能夠擴充為句子的三個實體詞或關鍵詞。

在一種可能的實施方式中，所述對候選知識集合中的各候選知識基于注意力機制進行編碼，包括：