[發明專利]一種對話策略模型訓練、對話的方法和系統

有效

• 申請號: 202110279376.0
• 申請日: 2021-03-16
• 公開（公告）號: CN113010653B
• 公開（公告）日: 2022-09-02
• 發明（設計）人: 王福東;王子豪;金春祥;李向陽;彭爽;楊明暉
• 申請（專利權）人: 支付寶（杭州）信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/30;G06F40/211;G06K9/62;G06N3/08;G06N20/00
• 代理公司: 成都七星天知識產權代理有限公司 51253
• 代理人: 袁春曉

1.一種對話策略模型訓練方法，所述方法包括：

基于多輪歷史對話，確定第一訓練數據以及第二訓練數據；其中，所述第一訓練數據中的第一訓練樣本包括樣本對話上文和樣本對話策略；所述第二訓練數據中的第二訓練樣本至少包括樣本對話上文、樣本對話策略以及相應的目標獎勵值；

使用所述第一訓練數據對對話策略模型進行第一階段訓練，使得所述對話策略模型能夠基于對話上文輸出與之對應的對話策略，進而獲得所述對話策略模型的第一模型參數；

使用所述第二訓練數據對經過第一階段訓練后的對話策略模型進行第二階段訓練，調整所述第一模型參數，使得所述對話策略模型基于對話上文輸出的對話策略能夠與預設對話目標適配，進而獲得所述對話策略模型的第二模型參數。

2.根據權利要求1所述的方法，所述對話策略模型為多分類模型，其輸入包括對話上文，輸出包括對應于兩個或以上對話策略的概率值。

3.根據權利要求1所述的方法，所述第一訓練數據包括第一訓練正樣本和第一訓練負樣本；其中，所述第一訓練正樣本中的樣本對話策略為歷史對話中對應于該樣本中的樣本對話上文的對話策略；所述第一訓練負樣本中的樣本對話策略為非歷史對話中對應于該樣本中的樣本對話上文的對話策略。

4.根據權利要求3所述的方法，基于多輪歷史對話，確定第一訓練數據，包括：

從多輪歷史對話中提取客服話術，并將提取得到的客服話術聚類為一組或多組；

基于聚類得到的一組或多組客服話術，確定一個或多個對話策略；

將所述多輪歷史對話中的客服話術替換為對應的對話策略；

將客服話術替換為對話策略后的多輪歷史對話按輪進行拆分，得到多個第一訓練正樣本。

5.根據權利要求1所述的方法，第二訓練樣本中的樣本對話策略為歷史對話中對應于該樣本中的樣本對話上文的對話策略，所述第二訓練樣本還包括歷史對話中對應于該樣本中的樣本對話上文的下一輪樣本對話上文以及下一輪樣本對話策略。

6.根據權利要求5所述的方法，基于多輪歷史對話，確定第二訓練數據，包括：

從多輪歷史對話中提取客服話術，并將提取得到的客服話術聚類為一組或多組；

基于聚類得到的一組或多組客服話術，確定一個或多個對話策略；

將所述多輪歷史對話中的客服話術替換為對應的對話策略；

將客服話術替換為對話策略后的多輪歷史對話按輪進行拆分；

從拆分后的多輪歷史對話中獲取對話上文、其對應的對話策略、其對應的下一輪對話上文以及該下一輪對話上文對應的對話策略，分別作為第二訓練樣本中的樣本對話上文、樣本對話策略、下一輪樣本對話上文以及下一輪樣本對話策略。

7.根據權利要求5所述的方法，所述使用第二訓練數據對經過第一階段訓練后的對話策略模型進行第二階段訓練，調整所述第一模型參數，使得所述對話策略模型基于對話上文輸出的對話策略能夠與預設對話目標適配，進而獲得所述對話策略模型的第二模型參數，包括：

使用經過第一階段訓練后的對話策略模型處理第二訓練樣本中的樣本對話上文，獲得對應于該樣本中的樣本對話策略的第一概率值；

使用經過第一階段訓練后的對話策略模型處理第二訓練樣本中的下一輪樣本對話上文，獲得對應于該樣本中的下一輪樣本對話策略的第二概率值；

構造目標函數，所述目標函數反映目標獎勵值與第二概率值的合值與第一概率值的差異；

調整第一模型參數，以使得所述目標函數最小化，進而獲得所述對話策略模型的第二模型參數。

8.根據權利要求1所述的方法，所述對話策略模型包括BERT模型。

9.根據權利要求1所述的方法，所述第一訓練樣本和/或第二訓練樣本還包括樣本對話上文對應用戶的用戶信息。