[發明專利]對話生成方法、網絡訓練方法、裝置、存儲介質及設備

有效

• 申請號: 202010816286.6
• 申請日: 2020-08-14
• 公開（公告）號: CN111897941B
• 公開（公告）日: 2023-10-27
• 發明（設計）人: 陳修意;孟凡東;李鵬;周杰
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/332
• 分類號: G06F16/332;G06F40/126;G06F40/205;G06N3/0442;G06N3/0464;G06N3/084
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 張所明

1.一種對話生成方法，其特征在于，所述方法包括：

獲取待響應的目標對話上文；

根據所述目標對話上文獲取第一候選知識集，所述第一候選知識集中包括與所述目標對話上文在內容上關聯的候選知識文本；

根據所述目標對話上文和所述第一候選知識集，預測所述目標對話上文的初步對話回復；根據所述初步對話回復更新所述目標對話上文；

根據更新后的對話上文，獲取所述第一候選知識集中每個候選知識文本被選中的概率值；在所述第一候選知識集中篩選概率值最大目標知識文本；

根據所述目標對話上文和所述目標知識文本，生成所述目標對話上文的最終對話回復。

2.根據權利要求1所述的方法，其特征在于，所述根據所述初步對話回復更新所述目標對話上文，包括:

對所述目標對話上文進行第一編碼處理，得到第一查詢向量；

獲取第一參數矩陣和第一特征向量；所述第一特征向量為所述初步對話回復的向量化表示；

根據所述第一特征向量和所述第一參數矩陣，生成第一中間特征向量；

將所述第一查詢向量與所述第一中間特征向量進行特征連接處理，得到更新后的第一查詢向量。

3.根據權利要求2所述的方法，其特征在于，所述根據更新后的對話上文，獲取所述第一候選知識集中每個候選知識文本被選中的概率值，包括：

對所述第一候選知識集進行第二編碼處理，得到各條候選知識文本的特征向量；根據所述第一查詢向量和所述各條候選知識文本的特征向量，生成所述第一候選知識集的特征向量；

獲取第二參數矩陣；根據所述第二參數矩陣和更新后的第一查詢向量，生成第二中間特征向量；

根據所述第二中間特征向量和所述各條候選知識文本的特征向量，確定所述各條候選知識文本被選中的概率值。

4.根據權利要求1所述的方法，其特征在于，所述根據所述目標對話上文和所述第一候選知識集，預測所述目標對話上文的初步對話回復，包括：

將所述目標對話上文和所述第一候選知識集輸入預測網絡，基于所述預測網絡預測所述目標對話上文的初步對話回復；

所述根據更新后的對話上文，獲取所述第一候選知識集中每個候選知識文本被選中的概率值；在所述第一候選知識集中篩選概率值最大目標知識文本，包括：

將更新后的對話上文和所述第一候選知識集輸入知識選擇網絡，基于所述知識選擇網絡獲取每個候選知識文本被選中的概率值，以及在所述第一候選知識集中篩選所述目標知識文本。

5.根據權利要求4所述的方法，其特征在于，所述預測網絡為Transformer模型的解碼器；

所述基于所述預測網絡預測所述目標對話上文的初步對話回復，包括：

獲取第一概率分布，所述第一概率分布為當前時刻生成的詞表的概率分布；

將所述目標對話上文的第一查詢向量和所述第一候選知識集的特征向量進行相加處理，并將得到的特征向量作為輸入特征輸入所述解碼器；

根據當前時刻的查詢矩陣和鍵矩陣，獲取第二概率分布；其中，所述第二概率分布為當前時刻復制所述目標對話上文中詞匯的權重；

根據當前時刻的值矩陣獲取第一數值，所述第一數值用于指示當前時刻生成的詞匯來源于所述目標對話上文的概率；

根據所述第一概率分布、所述第二概率分布和所述第一數值，生成當前時刻的第三概率分布；從所述第三概率分布中選取概率值最大的詞匯，將被選取的詞匯作為所述解碼器在當前時刻的輸出。

6.根據權利要求5所述的方法，其特征在于，所述方法還包括：

獲取第一映射矩陣、第二映射矩陣和第三映射矩陣；

根據所述第一映射矩陣，將目標特征向量映射為當前時刻的查詢矩陣，所述目標特征向量用于表征當前時刻的解碼器狀態；

根據所述第二映射矩陣將所述輸入特征映射為當前時刻的鍵矩陣；

根據所述第三映射矩陣將所述輸入特征映射為當前時刻的值矩陣。