[發明專利]自動客服的應答方法、裝置和計算機可讀存儲介質

在審

• 申請號: 202011277208.X
• 申請日: 2020-11-16
• 公開（公告）號: CN112328769A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 張伯雷;易津鋒;陳東東;劉君亮
• 申請（專利權）人: 北京沃東天駿信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/35;G06Q30/00;G06N3/04;G06N3/08
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 孫玉;許蓓

1.一種自動客服的應答方法，包括：

響應于用戶進入自動客服系統，獲取所述用戶的特征信息；

將所述特征信息轉換成的特征向量輸入應答模型，得到一條或多條應答信息，顯示給所述用戶，其中，所述應答模型是根據多個用戶的特征向量，對應的預設的應答信息以及對應的預設的反饋信息預訓練得到的；

接收所述用戶針對所述一條或多條應答信息的反饋信息；

根據所述反饋信息更新所述應答模型的參數。

2.根據權利要求1所述的應答方法，其中，所述根據所述反饋信息更新所述應答模型的參數包括：

根據所述反饋信息確定獎勵值，其中，在所述反饋信息包括所述用戶選擇的至少一條應答信息的情況下相對于所述反饋信息為所述用戶未選擇應答信息的情況下，所述獎勵值更高；

根據所述反饋信息更新所述用戶的特征信息，生成更新后的特征信息；

根據更新后的特征信息轉換成的更新后的特征向量和所述獎勵值，更新所述應答模型的參數。

3.根據權利要求2所述的應答方法，其中，所述根據更新后的特征信息轉換成的更新后的特征向量和所述獎勵值，更新所述應答模型的參數包括：

針對每個用戶，將所述特征向量、所述一條或多條應答信息、更新后的特征向量和所述獎勵值，作為所述用戶對應的樣本數據；

根據預設數量的用戶中每個用戶對應的樣本數據更新所述應答模型的參數。

4.根據權利要求3所述的應答方法，其中，所述應答模型包括：第一當前神經網絡、第一目標神經網絡、第二當前神經網絡和第二目標神經網絡，所述將所述特征信息轉換成的特征向量輸入應答模型，得到一條或多條應答信息包括：

將所述特征向量作為當前狀態輸入第一當前神經網絡，得到輸出的一條或多條應答信息。

5.根據權利要求4所述的應答方法，其中，所述根據預設數量的用戶中每個用戶對應的樣本數據更新所述應答模型的參數包括：

針對每個用戶，將所述一條或多條應答信息對應的數值作為當前動作值，與所述當前狀態一起輸入所述第二當前神經網絡，得到所述用戶對應的當前評估值；

針對每個用戶，將所述更新后的特征向量作為下一狀態，輸入所述第一目標神經網絡，得到下一動作值；

針對每個用戶，將所述下一動作值、所述下一狀態輸入第二目標神經網絡得到所述用戶對應的目標評估值；

根據每個用戶對應的當前評估值更新所述第一當前神經網絡的參數；

根據每個用戶對應的當前評估值、目標評估值和所述獎勵值更新所述第二當前神經網絡的參數；

根據所述第一當前神經網絡的參數更新所述第一目標神經網絡的參數，根據所述第二當前神經網絡的參數更新所述第二目標神經網絡的參數。

6.根據權利要求5所述的應答方法，其中，所述根據每個用戶對應的當前評估值更新所述第一當前神經網絡的參數包括：

根據每個用戶對應的當前評估值，計算策略梯度；

根據所述策略梯度更新所述第一當前神經網絡的參數；

所述根據每個用戶對應的當前評估值、目標評估值和所述獎勵值更新所述第二當前神經網絡的參數包括：

根據每個用戶對應的當前評估值、目標評估值和所述獎勵值，計算損失函數；

根據所述損失函數更新所述第二當前神經網絡的參數。

7.根據權利要求4所述的應答方法，其中，所述將所述特征向量作為當前狀態輸入第一當前神經網絡，得到一條或多條應答信息包括：

將所述特征向量作為當前狀態輸入第一當前神經網絡得到第一動作值，對所述第一動作值進行隨機噪聲采樣，得到當前動作值；

根據當前動作值對應的應答信息集合，得到一條或多條應答信息。