[發明專利]一種基于范例學習的文本摘要生成框架及方法

在審

• 申請號: 202110885791.0
• 申請日: 2021-08-03
• 公開（公告）號: CN113673241A
• 公開（公告）日: 2021-11-19
• 發明（設計）人: 邱錫鵬;安晨鑫;鐘鳴;耿志超;楊非;俞再亮
• 申請（專利權）人: 之江實驗室;復旦大學
• 主分類號: G06F40/289
• 分類號: G06F40/289;G06F40/211;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 楊小凡

1.一種基于范例學習的文本摘要生成方法，其特征在于包括如下步驟：

S1，為待生成摘要的源文檔，檢索出一組用于參考的范例摘要；

S2，基于序列到序列框架，使用最大似然損失進行訓練，包括如下步驟：

S21，將源文檔和范例摘要合并成一個序列；

S22，通過極大似然估計，使用前t-1個標準摘要的真值詞來預測第t個詞，極大似然估計訓練的損失函數：

其中P()表示第t步解碼在詞表上的概率分布，表示第t步解碼輸出的隱向量，W表示詞表大小*隱向量維度的可學習矩陣，X表示源文檔，E表示范例摘要，y_t表示摘要中的第t個詞，y_＜t表示第t步解碼之前已經生成的詞，n表示句子長度；

S3，基于訓練好的序列到序列框架，預測摘要，包括如下步驟：

S31，將源文檔和范例摘要合并成一個序列；

S32，通過極大似然估計，使用前t-1個預測詞來預測第t個詞，得到對數似然得分：

S33，采用集束搜索算法，每次預測保留一組詞，接著往下預測，形成的不同路徑作為候選范例摘要，即束，將第k個束的對數似然得分MLE_k，加入文本摘要評價指標獎勵分，在集束搜索中，每生成n個詞后，根據解碼端對編碼端范例摘要的注意力得分，選取被關注最多的范例摘要，并增大與所述關注最多的范例摘要相似的束的束得分；

S34，選擇得分最高的候選摘要作為最終的摘要。

2.根據權利要求1所述的一種基于范例學習的文本摘要生成方法，其特征在于所述S33中，被關注最多的范例摘要exemplar₁，計算第k個束和exemplar₁的文本摘要評價指標的得分rouge_k，文本摘要評價指標獎勵分：

Credit_k＝rouge_k*g(t)

其中為一個與解碼步數t有關的函數，l_s為超參數，當解碼步數t大于l_s，開始使用獎勵分，最終的束得分：

score_k＝MLE_k+Credit_k

其中n表示句子長度，y_i表示摘要中的第i個詞，y＜i表示第i步之前已經生成的詞，X表示源文檔，E表示范例摘要。

3.根據權利要求1所述的一種基于范例學習的文本摘要生成方法，其特征在于所述S1中，將源文檔中抽取的抽取式摘要，與訓練集摘要計算文本摘要評價指標，根據文本摘要評價指標的得分高低，選取一組訓練集摘要，與源文檔進行相似度比較，訓練檢索相似范例摘要的能力，在預測階段，選取相似度最高的一組范例摘要。

4.根據權利要求1所述的一種基于范例學習的文本摘要生成方法，其特征在于從訓練集摘要中，劃分出正樣本和負樣本，所述相似度比較，采用基于多頭的余弦相似度計算：

其中分別為正、負樣本的得分，X表示源文檔，Y表示訓練集摘要，i表示第i個負樣本，j表示第j個正樣本，表示源文檔X的隱向量，表示正/負樣本的隱向量，對比學習損失函數將所有頭相加：

其中H表示頭的數量，|C⁺|、|C^-|分別表示正、負樣本集的大小，τ表示一個溫度參數，exp()表示期望函數，在預測階段根據所有頭的投票，選擇相似度高的范例摘要。

5.根據權利要求2所述的一種基于范例學習的文本摘要生成方法，其特征在于根據文本摘要評價指標的高低，選取一組候選訓練集摘要，再將候選訓練集摘要，根據文本摘要評價指標的高低，劃分正、負樣本。

6.根據權利要求1所述的一種基于范例學習的文本摘要生成方法，其特征在于所述S2中，引入對齊機制，通過標簽嵌入，使范例摘要的第i句話和目標摘要的第i句話具有相同的標簽G_i，在解碼端訓練過程中，注意編碼端帶有相同標簽的詞。