[發明專利]基于上下文推理的自然語言理解處理方法、裝置以及設備

有效

• 申請號: 202110240179.8
• 申請日: 2021-03-04
• 公開（公告）號: CN112632961B
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 吳穎婷
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F40/205
• 分類號: G06F40/205;G06F40/30
• 代理公司: 北京君慧知識產權代理事務所(普通合伙) 11716
• 代理人: 吳紹群

1.一種基于上下文推理的自然語言理解處理方法，包括：

獲取用戶當前發言，以及多輪的歷史對話信息；

將所述用戶當前發言和所述歷史對話信息分句后，分別進行獨立編碼，得到各句子分別的語義表示向量；

根據注意力機制對所述歷史對話信息對應的語義表示向量綜合地進行再映射處理，得到對應的加權表征向量；

根據所述加權表征向量和所述用戶當前發言對應的語義表示向量，預測所述用戶當前發言的意圖和槽位只與所述用戶當前發言存在依賴關系，還是與所述歷史對話信息之間存在依賴關系；

若與所述歷史對話信息之間存在依賴關系，則獲取已為所述歷史對話信息確定的意圖和槽位，并據此確定所述用戶當前發言的意圖和槽位。

2.如權利要求1所述的方法，所述根據注意力機制對所述歷史對話信息對應的語義表示向量綜合地進行再映射處理，得到對應的加權表征向量，具體包括：

根據針對所述用戶當前發言對應的語義表示向量的注意力，綜合地進行再映射處理；

通過所述再映射處理，確定所述歷史對話信息中的不同部分與所述用戶當前發言之間的相關性差異，以及根據所述相關性差異得到對應的加權表征向量。

3.如權利要求1所述的方法，所述根據注意力機制對所述歷史對話信息對應的語義表示向量綜合地進行再映射處理，具體包括：

根據針對所述用戶當前發言對應的語義表示向量的注意力，將所述歷史對話信息對應的語義表示向量線性映射至多個不同的子區域表征空間，之后再進行融合。

4.如權利要求1所述的方法，所述用戶當前發言，以及多輪的歷史對話信息包括用戶與智能對話機器人之間的理財咨詢問答對話；

所述確定所述用戶當前發言的意圖和槽位之前，所述方法還包括：

根據所述加權表征向量和所述用戶當前發言對應的語義表示向量，預測所述用戶當前發言的槽位與預定的外部數據之間是否存在依賴關系，以確定是否根據所述外部數據，確定所述用戶當前發言的槽位；

其中，所述外部數據包括所述用戶已有的理財產品。

5.如權利要求1或4所述的方法，所述根據所述加權表征向量和所述用戶當前發言對應的語義表示向量，預測所述用戶當前發言的意圖和槽位只與所述用戶當前發言存在依賴關系，還是與所述歷史對話信息之間存在依賴關系，具體包括：

將所述加權表征向量與所述用戶當前發言對應的語義表示向量進行拼接，得到拼接向量；

將所述拼接向量分別傳入意圖門、槽位門進行處理；

得到所述意圖門預測的所述用戶當前發言的意圖只依賴于所述用戶當前發言自身，還是依賴于所述歷史對話信息，以及得到所述槽位門預測的所述用戶當前發言的槽位只依賴于所述用戶當前發言自身，依賴于所述歷史對話信息，還是依賴于預定的外部數據。

6.如權利要求5所述的方法，所述方法還包括：

通過針對所述用戶當前發言的所述獨立編碼，得到所述用戶當前發言的語義令牌；

根據所述語義令牌，對所述用戶當前發言本身進行實體抽取，得到所述用戶當前發言的候選槽位。

7.如權利要求6所述的方法，所述得到拼接向量后，所述方法還包括：

將所述拼接向量傳入意圖分類器進行處理，分類得到所述拼接向量對應的候選意圖；

若預測所述用戶當前發言的意圖和槽位只與所述用戶當前發言存在依賴關系，則確定所述候選意圖為所述用戶當前發言的意圖，確定所述候選槽位為所述用戶當前發言的槽位。

8.如權利要求1所述的方法，所述據此確定所述用戶當前發言的意圖和槽位，具體包括：

從已為所述歷史對話信息確定的意圖和槽位中，提取最近的意圖和槽位，作為所述用戶當前發言的意圖和槽位。