[發明專利]一種用于人機對話系統的回復生成方法、裝置及電子設備

有效

• 申請號: 202010533197.0
• 申請日: 2020-06-12
• 公開（公告）號: CN111460126B
• 公開（公告）日: 2020-09-25
• 發明（設計）人: 梁忠平;溫祖杰;張琳
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/289;G06F40/30;G06F40/253;G06N3/04;G06N3/08
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 王剛

1.一種用于人機對話系統的回復生成方法，包括：

獲取用戶與機器人之間按對話順序依次排列的問題和回復，并輸入預先訓練的回復生成模型；其中，所述問題包括歷史問題和當前問題；所述回復生成模型包括：詞嵌入層、第一編碼器層、第二編碼器層和解碼器層；

在所述詞嵌入層，對所述問題和回復進行詞嵌入處理，生成所述問題中各個詞分別對應的問題詞向量以及所述回復中各個詞分別對應的回復詞向量；

在所述第一編碼器層，根據所述問題詞向量和所述回復詞向量，采用自注意力機制和局部掩碼處理，生成所述問題中各個詞分別對應的問題局部特征向量以及所述回復中各個詞分別對應的回復局部特征向量；對于任一問題中的任一詞，所述局部掩碼處理使該詞僅與同一問題內的各個詞之間存在注意力值；對于任一回復中的任一詞，所述局部掩碼處理使該詞僅與同一回復內且其之前的各個詞之間存在注意力值；

其中，所述自注意力機制和局部掩碼處理，包括：生成所述問題和回復中的各個詞分別對應的第一隱狀態；根據所述第一隱狀態構建第一注意力值矩陣；所述第一注意力值矩陣中的注意力值為相應的兩個詞的第一隱狀態的點積；生成與所述第一注意力值矩陣大小相同的局部掩碼矩陣；所述局部掩碼矩陣中，用于掩碼的位置賦值為負無窮，其他位置賦值為零；將所述局部掩碼矩陣與所述第一注意力值矩陣相加，根據相加的結果，生成所述問題局部特征向量和所述回復局部特征向量；

在所述第二編碼器層，根據所述問題局部特征向量和所述回復局部特征向量，采用自注意力機制和全局掩碼處理，生成所述回復中各個詞分別對應的回復全局特征向量；對于任一回復中的任一詞，所述全局掩碼處理使該詞僅與其所屬回復中之前的各個詞以及其所屬回復之前的全部問題和回復中的各個詞之間存在注意力值；

其中，所述自注意力機制和全局掩碼處理，包括：生成所述問題和回復中的各個詞分別對應的第二隱狀態；根據所述第二隱狀態構建第二注意力值矩陣；所述第二注意力值矩陣中的注意力值為相應的兩個詞的第二隱狀態的點積；生成與所述第二注意力值矩陣大小相同的全局掩碼矩陣；所述全局掩碼矩陣中，用于掩碼的位置賦值為負無窮，其他位置賦值為零；將所述全局掩碼矩陣與所述第二注意力值矩陣相加，根據相加的結果，生成所述所述回復全局特征向量；

在所述解碼器層，根據所述回復全局特征向量，生成對應于所述當前問題的當前回復。

2.根據權利要求1所述的方法，所述第一編碼器層有至少兩個且依次連接；其中，位于首位的第一編碼器層的輸入為所述問題詞向量和所述回復詞向量；其他第一編碼器層的輸入為前一第一編碼器層輸出的問題局部特征向量和回復局部特征向量；位于末位的第一編碼器層輸出的問題局部特征向量和回復局部特征向量輸入所述第二編碼器層。

3.根據權利要求2所述的方法，在所述第二編碼器層，還根據所述問題局部特征向量和所述回復局部特征向量，采用自注意力機制和全局掩碼處理，生成所述問題中各個詞分別對應的問題全局特征向量；對于任一問題中的任一詞，所述全局掩碼處理使該詞僅與其所屬問題中的各個詞以及其所屬問題之前的全部問題和回復中的各個詞之間存在注意力值；

所述第二編碼器層有至少兩個且依次連接；其中，位于首位的第二編碼器層的輸入為所述問題局部特征向量和所述回復局部特征向量；其他第二編碼器層的輸入為前一第二編碼器層輸出的問題全局特征向量和回復全局特征向量；位于末位的第二編碼器層輸出的回復局部特征向量輸入所述解碼器層。