[發明專利]獎勵模型處理方法、電子設備、介質和計算機程序產品

在審

• 申請號: 202011407855.8
• 申請日: 2020-12-03
• 公開（公告）號: CN113535911A
• 公開（公告）日: 2021-10-22
• 發明（設計）人: 侯政旭;劉亞飛;趙瑞輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/35;G06N3/04
• 代理公司: 北京市柳沈律師事務所 11105
• 代理人: 王娟

1.一種任務型對話系統中的獎勵模型的處理方法，包括：

獲取多輪次樣本對話，每輪次樣本對話包括樣本問句以及對應的樣本答句；以及

利用判別器模型構造所述獎勵模型，基于所述多輪次樣本對話中的每輪次樣本對話，迭代地對生成器模型和判別器模型進行訓練，直至所述生成器模型和所述判別器模型滿足預設平衡條件；

其中，每輪次樣本對話對應于一次訓練回合，在每次訓練回合中，

利用所述生成器模型基于當前輪次樣本對話和當前輪次之前的先前輪次樣本對話生成偽樣本對話，所述偽樣本對話包括所述當前輪次樣本對話中的樣本問句以及對應的預測答句；

利用所述判別器模型基于所述當前輪次樣本對話、先前輪次樣本對話和所述偽樣本對話生成對所述偽樣本對話的判別結果；以及

基于所述判別結果調整所述生成器模型的參數以及基于生成器模型生成的偽樣本對話調整所述判別器模型的參數。

2.根據權利要求1所述的處理方法，其中，所述樣本對話被編碼為具有狀態和動作的特征表示，其中狀態與指示所述樣本問句填充到各個預設語義槽的槽值的概率的置信度相關，并且所述動作與所述樣本答句所涉及的行為相關。

3.根據權利要求2所述的處理方法，其中，利用生成器模型基于當前輪次樣本對話和先前輪次樣本對話生成偽樣本對話，包括：

對于所述先前輪次樣本對話中的第一輪次對話，對所述第一輪次對話的特征表示進行特征提取，以得到所述第一輪次對話的特征向量；

對于所述先前輪次樣本對話中除第一輪次對話之外的其他每一輪次對話，對所述輪次對話的特征表示和前一輪次對話的特征向量進行特征提取，以得到綜合特征向量，作為所述輪次對話的特征向量；以及

基于所述當前輪次樣本對話的前一個輪次對話的特征向量、所述當前輪次樣本對話的特征表示中的樣本問句對應的狀態，生成與所述當前輪次樣本對話的樣本問句的狀態對應的預測動作，基于所述預測動作生成第一預測答句，并且將所述樣本問句以及所述預測答句作為偽樣本對話。

4.根據權利要求2所述的處理方法，其中，利用判別器模型基于所述當前輪次樣本對話、先前輪次樣本對話和所述偽樣本對話生成對所述偽樣本對話的判別結果，包括：

對于所述先前輪次樣本對話中的第一輪次對話，對所述第一輪次對話的特征表示進行特征提取，以得到所述第一輪次對話的特征向量；

對于所述先前輪次樣本對話中的其他每一輪次對話，對所述輪次對話的特征表示和前一輪次對話的特征向量進行特征提取，以得到綜合特征向量，作為所述輪次對話的特征向量；以及

基于所述當前輪次樣本對話的前一個輪次對話的特征向量、所述當前輪次樣本對話的特征表示，生成第一特征向量；

基于所述當前輪次樣本對話的前一個輪次對話的特征向量、所述偽樣本對話的特征表示，生成第二特征向量；

基于所述第一特征向量和所述第二特征向量確定所述偽樣本對話為真的概率，作為判別結果。

5.根據權利要求1-3任一項所述的處理方法，其中，基于所述判別結果調整所述生成器模型的參數包括：在每次訓練回合中，

固定所述判別器模型的參數；以及

迭代地執行以下操作，直至所述偽樣本對話滿足預設條件：

根據所述判別器模型生成的判別結果以及所述當前輪次樣本對話與所述偽樣本對話的差異，調整所述生成器模型的參數以生成更新生成器模型；

利用所述更新生成器模型基于所述當前輪次樣本對話和所述先前輪次樣本對話生成更新的偽樣本對話；以及

利用所述判別器模型基于所述當前輪次樣本對話、所述先前輪次樣本對話以及所述更新的偽樣本對話生成更新的判別結果。

6.根據權利要求5所述的處理方法，其中，所述預設條件包括：

所述生成器模型生成的偽樣本對話與所述當前輪次樣本對話的差異在閾值范圍內。