[發明專利]機器客服訓練系統及其方法、語音回復方法和電子設備

在審

• 申請號: 202210112740.9
• 申請日: 2022-01-29
• 公開（公告）號: CN114692891A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 戴音培;李永彬;孫健;張賽
• 申請（專利權）人: 阿里巴巴達摩院（杭州）科技有限公司
• 主分類號: G06N20/00
• 分類號: G06N20/00;G06F16/332;G06Q30/00;G10L13/027
• 代理公司: 北京同鈞律師事務所 16037
• 代理人: 許懷遠

1.一種機器客服訓練系統，其特征在于，包括：機器客服模型、用戶模型、回報參數配置組件和終止組件，其中：

所述用戶模型，用于獲取所述機器客服模型輸出的第一文本以及所述第一文本的歷史溝通文本，并根據所述第一文本和所述歷史溝通文本生成多個第一預測文本，所述多個第一預測文本是對所述第一文本的回復，所述多個第一預測文本是所述用戶模型模擬多個用戶輸出的；

所述機器客服模型，用于隨機確定所述多個第一預測文本中的其中一個第一預測文本為目標預測文本，根據所述目標預測文本和所述歷史溝通文本生成第二預測文本，所述第二預測文本是對所述目標預測文本的回復；

所述回報參數配置組件，用于在所述第二預測文本表示所述用戶模型和所述機器客服模型的本次對話結束且成功時，向所述機器客服模型配置第一正回報參數，所述第一正回報參數用于調整所述機器客服模型的模型參數；

終止組件，用于確定所述機器客服模型的訓練次數，并在所述訓練次數大于次數閾值時，終止所述機器客服模型的訓練，得到訓練完成的機器客服模型。

2.根據權利要求1所述的機器客服訓練系統，其特征在于，所述歷史溝通文本包括：歷史對話文本，所述用戶模型包括：

第一理解模塊，用于獲取所述機器客服模型輸出的第一文本，并根據所述第一文本生成第一客服動作和第一客服槽值，所述第一客服動作為初始客服動作的預測動作，所述初始客服動作為所述機器客服模型生成所述第一文本采用的動作，所述第一客服槽值為初始客服槽值的預測槽值，所述初始客服槽值為所述機器客服模型生成所述第一文本采用的槽值；

多個第一策略模塊，用于獲取所述歷史對話文本，并根據所述第一客服動作、所述第一客服槽值和所述歷史對話文本，分別模擬不同用戶以生成第一用戶動作和第一用戶槽值；

第一自然文本生成模塊，用于根據所述第一用戶動作和所述第一用戶槽值生成對應的第一預測文本，所述第一策略模塊與所述第一預測文本一一對應，所述第一預測文本是對所述第一用戶槽值的自然語言化。

3.根據權利要求2所述的機器客服訓練系統，其特征在于，所述第一自然文本生成模塊，包括：

更改單元，用于更改所述第一用戶槽值，得到第二用戶槽值；

第一自然文本生成單元，用于根據所述第一用戶動作和所述第二用戶槽值生成對應得所述第一預測文本，所述第一預測文本是對所述第二用戶槽值的自然語言化。

4.根據權利要求3所述的機器客服訓練系統，其特征在于，所述歷史溝通文本還包括：歷史客服槽值，所述歷史客服槽值是所述機器客服模型歷史生成預測文本采用的客服槽值，所述機器客服模型包括：

第二理解模塊，用于根據所述歷史對話文本和所述目標預測文本，生成第二用戶動作和第三用戶槽值，所述第二用戶動作是對所述第一用戶動作的預測，所述第三用戶槽值是對所述第二用戶槽值的預測；

狀態追蹤模塊，用于根據所述第二用戶動作、所述第三用戶槽值和所述歷史客服槽值，確定第二客服槽值，所述第二客服槽值是對所述第三用戶槽值的回復；

第二策略模塊，用于根據所述第二用戶動作和所述第二客服槽值，確定第二客服動作，所述第二客服動作是對所述第二用戶動作的回復動作；

第二自然文本生成模塊，用于根據所述第二客服動作和所述第二客服槽值生成對應的第二預測文本，所述第二預測文本是對所述第二客服槽值的自然語言化。

5.根據權利要求1至4任一項所述的機器客服訓練系統，其特征在于，所述回報參數配置組件還用于：

根據預設損失函數，確定所述多個第一預測文本中任意兩個第一預測文本的損失值；

若所述損失值小于損失值閾值，則向所述用戶模型配置第一負回報參數，所述第一負回報參數用于調整所述用戶模型的模型參數。

6.根據權利要求1至4任一項所述的機器客服訓練系統，其特征在于，所述回報參數配置組件還用于：

在所述第二預測文本表示所述用戶模型和所述機器客服模型的本次對話結束且失敗時，向所述機器客服模型配置第二負回報參數，向所述用戶模型配置第二正回報參數，所述第二負回報參數用于調整所述機器客服模型的模型參數，所述第二正回報參數用于調整所述用戶模型的模型參數。