[發明專利]自動客服的應答方法、裝置和計算機可讀存儲介質

在審

• 申請號: 202011277208.X
• 申請日: 2020-11-16
• 公開（公告）號: CN112328769A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 張伯雷;易津鋒;陳東東;劉君亮
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06Q30/00;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 孫玉;許蓓

本公開涉及一種自動客服的應答方法、裝置和計算機可讀存儲介質，涉及計算機技術領域。本公開的方法包括：響應于用戶進入自動客服系統，獲取用戶的特征信息；將特征信息轉換成的特征向量輸入應答模型，得到一條或多條應答信息，顯示給用戶，其中，應答模型是根據多個用戶的特征向量，對應的預設的應答信息以及對應的預設的反饋信息預訓練得到的；接收用戶針對一條或多條應答信息的反饋信息；根據反饋信息更新應答模型的參數。

技術領域

本公開涉及計算機技術領域，特別涉及一種自動客服的應答方法、裝置和計算機可讀存儲介質。

背景技術

為了提高服務質量，各種互聯網平臺都設置了客服(客戶服務)系統，以解答客戶的各種問題或為客戶提供各種相關服務。

客服系統一般包括：自動客服系統和人工客服系統。自動客服系統根據用戶輸入的信息，自動進行應答。人工客服系統則由工作人員進行回復。

發明內容

發明人發現：自動客服系統根據用戶輸入的信息進行應答，并且很多情況下，需要用戶輸入很多信息才能理解用戶的意圖，例如，需要輸入具體的商品信息、訂單信息等。自動客服系統與用戶交互過程中，不能很準確的理解用戶的意圖，不能迅速做出準確應答，應答效率低，準確率低，用戶體驗比較差。

本公開所要解決的一個技術問題是：如何提高自動客服的應答的準確性和效率。

根據本公開的一些實施例，提供的一種自動客服的應答方法，包括：響應于用戶進入自動客服系統，獲取用戶的特征信息；將特征信息轉換成的特征向量輸入應答模型，得到一條或多條應答信息，顯示給用戶，其中，應答模型是根據多個用戶的特征向量，對應的預設的應答信息以及對應的預設的反饋信息預訓練得到的；接收用戶針對一條或多條應答信息的反饋信息；根據反饋信息更新應答模型的參數。

在一些實施例中，根據反饋信息更新應答模型的參數包括：根據反饋信息確定獎勵值，其中，在反饋信息包括用戶選擇的至少一條應答信息的情況下相對于反饋信息為用戶未選擇應答信息的情況下，獎勵值更高；根據反饋信息更新用戶的特征信息，生成更新后的特征信息；根據更新后的特征信息轉換成的更新后的特征向量和獎勵值，更新應答模型的參數。

在一些實施例中，根據更新后的特征信息轉換成的更新后的特征向量和獎勵值，更新應答模型的參數包括：針對每個用戶，將特征向量、一條或多條應答信息、更新后的特征向量和獎勵值，作為用戶對應的樣本數據；根據預設數量的用戶中每個用戶對應的樣本數據更新應答模型的參數。

在一些實施例中，應答模型包括：第一當前神經網絡、第一目標神經網絡、第二當前神經網絡和第二目標神經網絡，將特征信息轉換成的特征向量輸入應答模型，得到一條或多條應答信息包括：將特征向量作為當前狀態輸入第一當前神經網絡，得到輸出的一條或多條應答信息。

在一些實施例中，根據預設數量的用戶中每個用戶對應的樣本數據更新應答模型的參數包括：針對每個用戶，將一條或多條應答信息對應的數值作為當前動作值，與當前狀態一起輸入第二當前神經網絡，得到用戶對應的當前評估值；針對每個用戶，將更新后的特征向量作為下一狀態，輸入第一目標神經網絡，得到下一動作值；針對每個用戶，將下一動作值、下一狀態輸入第二目標神經網絡得到用戶對應的目標評估值；根據每個用戶對應的當前評估值更新第一當前神經網絡的參數；根據每個用戶對應的當前評估值、目標評估值和獎勵值更新第二當前神經網絡的參數；根據第一當前神經網絡的參數更新第一目標神經網絡的參數，根據第二當前神經網絡的參數更新第二目標神經網絡的參數。

在一些實施例中，根據每個用戶對應的當前評估值更新第一當前神經網絡的參數包括：根據每個用戶對應的當前評估值，計算策略梯度；根據策略梯度更新第一當前神經網絡的參數；根據每個用戶對應的當前評估值、目標評估值和獎勵值更新第二當前神經網絡的參數包括：根據每個用戶對應的當前評估值、目標評估值和獎勵值，計算損失函數；根據損失函數更新第二當前神經網絡的參數。