[發明專利]基于數據處理的模型訓練方法、裝置、終端及存儲介質

有效

• 申請號: 201811364712.6
• 申請日: 2018-11-15
• 公開（公告）號: CN109460463B
• 公開（公告）日: 2023-06-20
• 發明（設計）人: 畢野;黃博;吳振宇;王建明;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F18/214
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種基于數據處理的模型訓練方法，其特征在于，包括：

基于至少一個虛擬對話系統產生的對話數據構建第一訓練數據集，所述第一訓練數據集包括至少一對對話語料，各對話語料按著預設順序排列，每對對話語料包括一個虛擬語句和一個虛擬回復；

采用所述第一訓練數據集對預設的原始模型進行根據輸入對話確定生成回復的模型訓練，得到訓練后的模型；

根據所述訓練后的模型和所述第一訓練數據集，構建初始模型的模型框架，以確定所述初始模型；所述模型框架由環境、行為、狀態空間、所述初始模型的獎勵函數以及策略構成；其中，所述環境為所述訓練后的模型，所述行為為所述訓練后的模型根據所述第一訓練數據集中的目標虛擬語句生成的第一生成回復，所述狀態空間為所述第一訓練數據集中的目標對話預料，所述策略用于指示輸出所述訓練后的模型生成的概率值最大的生成回復，所述初始模型的獎勵函數和所述第一訓練數據集用于在第一強化訓練中確定所述初始模型的訓練方向；

根據強化學習算法和所述第一訓練數據集對所述初始模型進行所述第一強化訓練，得到中間模型，其中，所述第一強化訓練中的獎勵函數采用所述初始模型的獎勵函數；

基于至少一個真實對話系統產生的對話數據構建第二訓練數據集，并根據所述強化學習算法和所述第二訓練數據集對所述中間模型進行第二強化訓練，得到目標模型，其中，所述第二強化訓練中的獎勵函數定義為1。

2.如權利要求1所述的方法，其特征在于，所述初始模型的獎勵函數由至少一個獎勵維度構成，所述獎勵維度包括以下任一個維度：第一相似性維度、第二相似性維度、語義連貫性維度或者回復前瞻性維度；

其中，所述第一相似度維度是指模型生成的生成回復與萬能回復之間的相似性的維度；所述第二相似性維度是指模型當前生成的生成回復與模型上一次生成的生成回復之間的相似性的維度；所述語義連貫性維度是指模型生成的生成回復的語義連貫性的維度；所述回復前瞻性維度是指統計模型生成的生成回復引導對話輪數的數量的維度。

3.如權利要求1或2所述的方法，其特征在于，所述預設的原始模型包括編碼器模型和解碼器模型，所述編碼器模型和所述解碼器模型為雙向網絡模型。

4.如權利要求3所述的方法，其特征在于，所述根據所述訓練后的模型和所述第一訓練數據集，構建初始模型的模型框架，包括：

將所述訓練后的模型定義為所述初始模型的模型框架的環境，并根據所述訓練后的模型生成的各生成回復所對應的概率分布確定所述初始模型的模型框架的策略，所述策略為將所述概率分布中概率值最大的生成回復作為待輸出的目標回復的策略；

采用所述訓練后的模型根據所述第一訓練數據集中的目標虛擬語句生成第一生成回復，將所述第一生成回復定義為所述初始模型的模型框架的行為，所述目標虛擬語句為所述第一訓練數據集中的任意一個虛擬語句；

從所述第一訓練數據集中獲取目標對話語料，并將所述目標對話語料定義為所述初始模型的模型框架的狀態空間，所述目標對話語料為所述第一訓練數據集中位于所述目標虛擬語句之前，且緊鄰所述目標虛擬語句的對話語料。

5.如權利要求2所述的方法，其特征在于，所述根據強化學習算法和所述第一訓練數據集對所述初始模型進行所述第一強化訓練，得到中間模型，包括：

采用所述初始模型根據所述第一訓練數據集中的目標虛擬語句生成第二生成回復，并根據所述目標虛擬語句和所述第二生成回復計算所述第一強化訓練中的獎勵函數的值，所述目標虛擬語句為所述第一訓練數據集中的任意一個虛擬語句；

將所述第一強化訓練中的獎勵函數的值代入強化學習算法中，以得到損失函數的梯度值；

根據所述損失函數的梯度值更新所述初始模型的模型參數，并將模型參數更新后的初始模型作為中間模型。