[發明專利]一種基于強化學習的智能對話方法及裝置

在審

• 申請號: 202010146607.6
• 申請日: 2020-03-05
• 公開（公告）號: CN111400466A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 唐杰聰;張磊;羅樋;郭銳鵬
• 申請（專利權）人: 中國工商銀行股份有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06N3/04;G06N20/00
• 代理公司: 北京三友知識產權代理有限公司 11127
• 代理人: 周永君;王濤

1.一種基于強化學習的智能對話方法，其特征在于，包括：

接收用戶輸入的話語；

根據所述用戶輸入的話語，獲得多個應答動作；

根據所述用戶輸入的話語、所述多個應答動作以及應答選擇模型，獲得所述用戶輸入的話語對應的最佳應答動作；其中，所述應答選擇模型是基于話語樣本訓練數據以及強化學習模型訓練后獲得的；

根據所述用戶輸入的話語對應的最佳應答動作，生成應答話語。

2.根據權利要求1所述的方法，其特征在于，基于話語樣本訓練數據以及強化學習模型訓練獲得所述應答選擇模型的步驟包括：

獲取所述話語樣本訓練數據，所述話語樣本訓練數據包括預設數量條話語訓練數據，每條話語訓練數據包括單回合話語數據以及用戶滿意度；

根據所述預設數量條話語訓練數據以及所述強化學習模型，訓練獲得待確定應答選擇模型；

若判斷獲知所述待確定應答選擇模型通過話語樣本測試數據的評估，則將所述待確定應答選擇模型作為所述應答選擇模型。

3.根據權利要求2所述的方法，其特征在于，所述獲取話語樣本訓練數據包括：

在線收集所述用戶輸入的話語、所述多個應答動作以及所述用戶對所述應答話語的反饋話語；

根據所述用戶對所述應答話語的反應話語以及情感分析模型，獲得所述應答話語的用戶滿意度；

將所述用戶輸入的話語和所述多個應答動作作為所述單回合話語數據，并將所述應答話語的用戶滿意度作為所述單回合話語數據的用戶滿意度。

4.根據權利要求2所述的方法，其特征在于，所述根據所述預設數量條話語訓練數據以及所述強化學習模型，訓練獲得待確定應答選擇模型包括：

根據所述預設數量條話語訓練數據以及不同的強化學習模型，訓練獲得多個待確定應答選擇模型；

相應地，所述若判斷獲知所述待確定應答選擇模型通過話語樣本測試數據的評估，則將所述待確定應答選擇模型作為所述應答選擇模型包括：

根據所述話語樣本測試數據對所述多個待確定應答選擇模型進行評估，獲得通過評估的待確定應答選擇模型；

從通過評估的待確定應答選擇模型中選擇準確率最高的待確定應答選擇模型，作為所述應答選擇模型。

5.根據權利要求1至4任一項所述的方法，其特征在于，還包括：

更新所述話語樣本訓練數據，并根據更新后的話語樣本訓練數據重新訓練獲得所述應答選擇模型。

6.一種基于強化學習的智能對話裝置，其特征在于，包括：

接收單元，用于接收用戶輸入的話語；

獲得單元，用于根據所述用戶輸入的話語，獲得多個應答動作；

選擇單元，用于根據所述用戶輸入的話語、所述多個應答動作以及應答選擇模型，獲得所述用戶輸入的話語對應的最佳應答動作；其中，所述應答選擇模型是基于話語樣本訓練數據以及強化學習模型訓練后獲得的；

生成單元，用于根據所述用戶輸入的話語對應的最佳應答動作，生成應答話語。

7.根據權利要求6所述的裝置，其特征在于，還包括：

獲取單元，用于獲取所述話語樣本訓練數據，所述話語樣本訓練數據包括預設數量條話語訓練數據，每條話語訓練數據包括單回合話語數據以及用戶滿意度；

訓練單元，用于根據所述預設數量條話語訓練數據以及所述強化學習模型，訓練獲得待確定應答選擇模型；

評估單元，用于在判斷獲知所述待確定應答選擇模型通過話語樣本測試數據的評估之后，將所述待確定應答選擇模型作為所述應答選擇模型。

8.根據權利要求7所述的裝置，其特征在于，所述獲取單元包括：

收集子單元，用于在線收集所述用戶輸入的話語、所述多個應答動作以及所述用戶對所述應答話語的反饋話語；

獲得子單元，用于根據所述用戶對所述應答話語的反應話語以及情感分析模型，獲得所述應答話語的用戶滿意度；

數據組合子單元，用于將所述用戶輸入的話語和所述多個應答動作作為所述單回合話語數據，并將所述應答話語的用戶滿意度作為所述單回合話語數據的用戶滿意度。