[發明專利]摘要生成模型訓練方法、摘要生成方法、裝置及電子設備

有效

• 申請號: 202110895061.9
• 申請日: 2021-08-03
• 公開（公告）號: CN113590810B
• 公開（公告）日: 2023-07-14
• 發明（設計）人: 寧宇光;陽任科
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F16/35;G06F40/258;G06F40/30
• 代理公司: 北京銀龍知識產權代理有限公司 11243
• 代理人: 許靜;黃燦

1.一種摘要生成模型訓練方法，其特征在于，包括：

獲取待訓練的第一樣本數據，所述第一樣本數據包括N個樣本摘要句、N個標準摘要句和每一樣本摘要句對應的主語標識信息，所述樣本摘要句與所述標準摘要句一一對應，所述樣本摘要句包括目標人名、所述目標人名對應的目標人名標記，所述目標人名標記與主語標識信息關聯，所述主語標識信息用于描述所述目標人名標記對應的目標人名是否為主語；其中，所述樣本摘要句為段落文本中，用于生成摘要句的句子文本；所述標準摘要句基于所述樣本摘要句人工簡化處理生成，作為所述樣本摘要句的基準；

將所述第一樣本數據輸入第一摘要生成模型，所述第一摘要生成模型包括統一預訓練語言模型UniLM模型和二分類模型，所述UniLM模型的輸出端與所述二分類模型的輸入端連接；所述二分類模型在經過訓練后，用于進行主語識別；

建立損失函數，所述損失函數包括第一子損失函數和第二子損失函數，所述第一子損失函數基于所述N個樣本摘要句和所述N個標準摘要句確定，所述第二子損失函數基于所述目標人名和所述主語標識信息確定；

基于所述損失函數，對所述第一摘要生成模型進行訓練，得到目標摘要生成模型。

2.根據權利要求1所述的方法，其特征在于，所述將所述第一樣本數據輸入第一摘要生成模型，包括：

將所述N個樣本摘要句以及與所述N個樣本摘要句對應的N個標準摘要句輸入所述UniLM模型；

所述建立損失函數，包括：

獲取所述樣本摘要句和所述標準摘要句中，每一字符的語義信息，得到目標文本信息；

對所述目標文本信息中，目標字符集合的語義信息進行掩藏處理，得到第二文本信息，所述第二文本信息包括所述樣本摘要句和所述標準摘要句中，除所述目標字符集合外的字符的語義信息，所述目標字符集合包括以下至少一項：所述樣本摘要句中除所述目標人名標記外的至少部分字符、所述標準摘要句的至少部分字符；

基于所述第一摘要生成模型，根據所述第二文本信息，對所述目標字符集合的語義信息進行預測，得到第三文本信息；

根據所述目標文本信息中，所述目標字符集合的語義信息與所述第三文本信息，確定所述第一子損失函數。

3.根據權利要求2所述的方法，其特征在于，所述將所述第一樣本數據輸入第一摘要生成模型，還包括：

針對每一樣本摘要句，將所述樣本摘要句中目標人名標記對應的字符的語義信息輸入所述二分類模型，得到所述目標人名的主語判斷結果；

所述建立損失函數，還包括：

根據所述N個樣本摘要句中所述目標人名的主語判斷結果，與所述N個樣本摘要句對應的主語標識信息，確定第二子損失函數；

由所述第一子損失函數與所述第二子損失函數計算生成所述損失函數。

4.根據權利要求3所述的方法，其特征在于，所述由所述第一子損失函數與所述第二子損失函數計算生成所述損失函數，包括：

計算所述第一子損失函數與第一權重的乘積與所述第二子損失函數與第二權重的乘積之和，得到所述損失函數。

5.一種摘要生成方法，其特征在于，包括：

獲取待處理的目標文本，所述目標文本包括至少一個劃分句；

將所述目標文本作為摘要抽取模型的輸入，對所述至少一個劃分句進行預測，得到摘要候選句；

將所述摘要候選句作為目標摘要生成模型的輸入，生成目標摘要句；

其中，所述摘要生成模型基于如權利要求1至4中任一項所述的摘要生成模型訓練方法訓練生成。

6.根據權利要求5所述的方法，其特征在于，所述將所述摘要候選句作為摘要生成模型的輸入，生成目標摘要句，包括：

獲取所述摘要候選句中，每一字符對應的語義信息，得到第四文本信息；

基于所述目標摘要生成模型的損失函數，對所述第四文本信息進行提取處理，得到第五文本信息；

將所述第五文本信息對應的字符集合確定為所述目標摘要句。