[發明專利]對話生成模型訓練、對話回復生成方法和裝置以及介質

在審

• 申請號: 202210059369.4
• 申請日: 2022-01-19
• 公開（公告）號: CN114416949A
• 公開（公告）日: 2022-04-29
• 發明（設計）人: 李浩然
• 申請（專利權）人: 北京京東尚科信息技術有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F16/33;G06F16/338
• 代理公司: 中國貿促會專利商標事務所有限公司 11038
• 代理人: 方亮

1.一種對話生成模型訓練方法，包括：

根據歷史對話信息中的提問信息和回復信息，生成與所述歷史對話信息相對應的歷史輪次提問信息；

基于所述歷史輪次提問信息和當前提問信息生成訓練樣本；

使用對話生成模型對所述訓練樣本進行處理，確定所述歷史輪次提問信息與所述當前提問信息相對應的重要性評分；

根據所述重要性評分確定注意力權重，使用所述對話生成模型并根據所述注意力權重，確定與所述當前輪次提問信息相對應的目標詞生成概率；

基于所述目標詞生成概率生成與所述當前提問信息相對應的回復預測信息；

根據所述回復預測信息確定損失函數，基于所述損失函數對所述對話生成模型進行調整處理。

2.如權利要求1所述的方法，所述使用對話生成模型對所述訓練樣本進行處理，確定所述歷史輪次提問信息與所述當前提問信息相對應的重要性評分包括：

使用提問分割符和回復隔離符對所述訓練樣本中的提問信息和回復信息進行隔離處理；

使用所述對話生成模型的編碼器對所述歷史輪次提問信息進行編碼處理，獲得與所述歷史輪次提問信息相對應的編碼隱層狀態信息；

根據所述編碼隱層狀態信息，獲得所述當前提問信息與所述歷史輪次提問信息之間的重要性評分。

3.如權利要求2所述的方法，所述編碼隱層狀態信息包括：提問編碼隱層狀態信息和回復編碼隱層狀態信息；所述根據所述編碼隱層狀態信息，獲得所述當前提問信息與所述歷史輪次提問信息之間的重要性評分包括：

使用所述對話生成模型的第一激勵函數，獲得與所述提問編碼隱層狀態信息相對應的第一激勵函數值；

使用所述第一激勵函數，獲得與所述回復編碼隱層狀態信息相對應的第二激勵函數值；

基于所述第一激勵函數值、所述第二激勵函數值以及所述第二激活函數，獲得所述重要性評分。

4.如權利要求3所述的方法，所述根據所述重要性評分確定注意力權重包括：

確定所述歷史輪次提問信息的初始權重；

將所述初始權重與對應的重要性評分的乘積，作為新權重；

對全部歷史輪次提問信息的新權重進行求和，獲得所述注意力權重。

5.如權利要求4所述的方法，所述確定所述歷史輪次提問信息的初始權重包括：

使用所述對話生成模型的第三激活函數，獲得與所述歷史輪次提問信息相對應的第三激勵函數值；

基于所述第三激勵函數值以及所述第二激活函數，獲得所述初始權重。

6.如權利要求4所述的方法，所述使用所述對話生成模型并根據所述注意力權重，確定與所述當前輪次提問信息相對應的目標詞生成概率包括：

使用所述對話生成模型的解碼器并根據所述注意力權重進行解碼處理，獲得與所述當前輪次提問信息相對應的解碼隱層狀態信息；

基于所述解碼隱層狀態信息以及所述第二激活函數，獲得所述目標詞生成概率。

7.如權利要求1所述的方法，所述基于所述目標詞生成概率生成與所述當前提問信息相對應的回復預測信息包括：

選取所述目標詞生成概率最高的候選詞作為所述目標詞，生成所述回復預測信息。

8.如權利要求1至7任一項所述的方法，所述根據所述回復預測信息確定損失函數，基于所述損失函數對所述對話生成模型進行調整處理包括：

根據所述回復預測信息確定交叉熵損失函數，基于所述交叉熵損失函數對所述對話生成模型進行調整處理。

9.一種對話回復生成方法，包括：

根據歷史對話信息中的提問信息和回復信息，生成與所述歷史對話信息相對應的歷史輪次提問信息；

基于所述歷史輪次提問信息和當前提問信息生成對話預測信息；

獲取訓練好的對話生成模型，使用所述對話生成模型對所述對話預測信息進行處理，生成與所述當前提問信息相對應的回復預測信息；

其中，所述對話生成模型是通過權利要求1至8中任一項所述的訓練方法訓練得到。