[發明專利]針對多輪對話生成回復語句的方法和裝置

有效

• 申請號: 202010410108.3
• 申請日: 2020-05-15
• 公開（公告）號: CN111400481B
• 公開（公告）日: 2023-04-28
• 發明（設計）人: 林謝雄;簡葳玙;何建杉;王太峰
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332
• 代理公司: 北京億騰知識產權代理事務所(普通合伙) 11309
• 代理人: 孫欣欣;周良玉

1.一種針對多輪對話生成回復語句的方法，所述方法包括：

獲取多輪對話中包含當前用戶問句的歷史上下文；

對所述歷史上下文基于注意力機制進行編碼，得到所述歷史上下文對應的上下文向量，以及所述歷史上下文對應的第一分詞序列的編碼注意力分布；

對候選知識集合中的各候選知識基于注意力機制進行編碼，得到所述候選知識集合對應的知識融合向量，以及所述候選知識集合對應的第二分詞序列的知識注意力分布；

針對回復語句進行逐詞預測，其中每次預測包括：

通過指針生成網絡，分別生成當前的第一指針和第二指針，第一指針指示根據歷史上下文生成下一個詞的概率，第二指針指示根據候選知識集合生成下一個詞的概率；

對于擴充詞表中每個候選詞，至少根據所述上下文向量、所述知識融合向量預測生成該候選詞的第一概率；根據第一指針和編碼注意力分布，確定從歷史上下文中復制該候選詞的第二概率，根據第二指針和知識注意力分布，確定從候選知識集合中復制該候選詞的第三概率，并根據所述第一概率，第二概率和第三概率，得到將該候選詞作為下一個詞的預測概率；其中所述擴充詞表包括，用于生成候選詞的初始詞表，第一分詞序列中各分詞，以及第二分詞序列中各分詞；

根據擴充詞表中各個詞的預測概率，預測下一個詞。

2.如權利要求1所述的方法，其中，所述歷史上下文還包括至少一輪的歷史用戶問句和歷史回復語句。

3.如權利要求1所述的方法，其中，所述對候選知識集合中的各候選知識基于注意力機制進行編碼之前，所述方法還包括：

提取所述歷史上下文中的實體詞或關鍵詞；

根據所述實體詞或關鍵詞，確定與所述歷史上下文相關的所述候選知識集合。

4.如權利要求1所述的方法，其中，所述候選知識包括：句子形式的候選知識或三元組形式的候選知識；所述三元組形式的候選知識包括能夠擴充為句子的三個實體詞或關鍵詞。

5.如權利要求1所述的方法，其中，所述對候選知識集合中的各候選知識基于注意力機制進行編碼，包括：

對候選知識集合中的各候選知識分別基于注意力機制進行編碼，得到所述各候選知識分別對應的單條知識向量，以及各候選知識分別對應的分詞序列的注意力分布；

針對各單條知識向量，基于注意力機制進行編碼，得到所述候選知識集合對應的知識融合向量；以及根據各候選知識分別對應的分詞序列的注意力分布，進行綜合處理，得到所述候選知識集合對應的第二分詞序列的知識注意力分布。

6.如權利要求1所述的方法，其中，所述通過指針生成網絡，分別生成當前的第一指針和第二指針，包括：

通過指針生成網絡，根據所述上下文向量、前一個詞的解碼狀態、以及前一個詞對應的詞向量和所述上下文向量的組合向量，生成當前的第一指針；

通過指針生成網絡，根據所述知識融合向量、前一個詞的解碼狀態、以及前一個詞對應的詞向量和所述知識融合向量的組合向量，生成當前的第二指針。

7.如權利要求1所述的方法，其中，所述根據所述第一概率，第二概率和第三概率，得到將該候選詞作為下一個詞的預測概率，包括：

當該候選詞存在于所述初始詞表中，且不存在于所述第一分詞序列中，且不存在于所述第二分詞序列中，根據所述第一概率，得到將該候選詞作為下一個詞的預測概率。

8.如權利要求1所述的方法，其中，所述根據所述第一概率，第二概率和第三概率，得到將該候選詞作為下一個詞的預測概率，包括：

當該候選詞存在于所述第一分詞序列中，且不存在于所述初始詞表中，且不存在于所述第二分詞序列中，根據所述第二概率，得到將該候選詞作為下一個詞的預測概率。

9.如權利要求1所述的方法，其中，所述根據所述第一概率，第二概率和第三概率，得到將該候選詞作為下一個詞的預測概率，包括：

當該候選詞存在于所述第二分詞序列中，且不存在于所述初始詞表中，且不存在于所述第一分詞序列中，根據所述第三概率，得到將該候選詞作為下一個詞的預測概率。