[發(fā)明專利]基于雙流注意力和位置殘差連接的文本摘要自動(dòng)抽取方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202210950607.0
• 申請(qǐng)日: 2022-08-09
• 公開(kāi)（公告）號(hào): CN115309887A
• 公開(kāi)（公告）日: 2022-11-08
• 發(fā)明（設(shè)計(jì)）人: 曾駿;王子威;鐘林;陶鴻錦;周魏;文俊浩
• 申請(qǐng)（專利權(quán)）人: 重慶大學(xué)
• 主分類號(hào): G06F16/34
• 分類號(hào): G06F16/34;G06F16/33;G06N3/04;G06N3/08
• 代理公司: 重慶晟軒知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50238
• 代理人: 王海鳳

本發(fā)明涉及一種基于雙流注意力和位置殘差連接的文本摘要自動(dòng)抽取方法，包括如下步驟：選用公開(kāi)數(shù)據(jù)集并對(duì)數(shù)據(jù)集中的數(shù)據(jù)進(jìn)行標(biāo)注；構(gòu)建RBPSum模型，RBPSum模型包括句子編碼器、上下文編碼器和輸出層；采用句子編碼器對(duì)訓(xùn)練集中所有語(yǔ)句進(jìn)行語(yǔ)句的特征提取，得到每條語(yǔ)句的句子特征表示；將句子特征表示作為上下文編碼器的輸入，依次經(jīng)過(guò)L個(gè)句子強(qiáng)化層，輸出得到對(duì)應(yīng)的上下文位置編碼信息；最后通過(guò)輸出層得到每條語(yǔ)句被選取作為摘要的概率值，選擇前K個(gè)概率值所對(duì)應(yīng)的語(yǔ)句作為對(duì)文本的預(yù)測(cè)摘要。使用本發(fā)明模型，其性能優(yōu)于大量以往的SOTA模型，能夠更準(zhǔn)確的提取文本中的關(guān)鍵信息作為文本摘要，即使是在使用小規(guī)模數(shù)據(jù)時(shí)，其性能仍具有很強(qiáng)的競(jìng)爭(zhēng)力。

技術(shù)領(lǐng)域

本發(fā)明涉及自然語(yǔ)言處理領(lǐng)域，特別涉及基于雙流注意力和位置殘差連接的文本摘要自動(dòng)抽取方法。

背景技術(shù)

在自然語(yǔ)言處理(Natural Language Processing,NLP)領(lǐng)域中，自動(dòng)文本摘要任務(wù)的目標(biāo)是分析文檔的整體語(yǔ)義并將長(zhǎng)文本轉(zhuǎn)換為包含原始文件關(guān)鍵信息的摘要，文本摘要的應(yīng)用場(chǎng)景十分廣闊，如自動(dòng)生成新聞標(biāo)題、文獻(xiàn)報(bào)告、電子商務(wù)營(yíng)銷介紹內(nèi)容等。

近年來(lái)，如何生成高質(zhì)量的文本摘要受到了研究人員的廣泛研究，目前主要有抽取式文本摘要和生成式文本摘要是兩種主流的實(shí)現(xiàn)方法。

生成式文本摘要以語(yǔ)言模型的自回歸方式來(lái)逐字生成摘要，生成式摘要方法可以看作是一個(gè)重構(gòu)的過(guò)程，其主要基于Sequence-to-Sequence模型，其第一步是使用編碼器來(lái)編碼文章的語(yǔ)義信息，然后使用解碼器根據(jù)語(yǔ)義信息來(lái)生成摘要；生成式方法具有很高的連續(xù)性和自由度(解碼器能夠生成新詞)，然而這種方法要求模型具有很強(qiáng)的自然語(yǔ)言理解能力和自然語(yǔ)言生成能力，而且該方法還往往伴隨著不一致性等問(wèn)題，導(dǎo)致生成錯(cuò)誤信息。

抽取式文本摘要通過(guò)選取文章中具有代表性信息的關(guān)鍵內(nèi)容，如整句和子句，以將這些信息進(jìn)行拼接合并的方式來(lái)生成摘要；抽取式摘要可以被定義為一個(gè)句子排序問(wèn)題，其通過(guò)對(duì)原始文本進(jìn)行編碼和語(yǔ)義提取，然后通過(guò)語(yǔ)義特征計(jì)算各個(gè)句子的關(guān)鍵性得分，最后選取得分最高的k個(gè)句子作為摘要。對(duì)于抽取式方法而言，由于句子是直接從原文中提取的，具有更好的連貫性和可讀性，但是為了獲取句子表示，目前大多數(shù)抽取式模型依靠Transformer編碼器提取句子的特征表示，雖然Transformer編碼器的模型結(jié)構(gòu)賦予了其并行計(jì)算能力，但是該模型在處理句子時(shí)沒(méi)有能力區(qū)分句子之間地差異性，即在計(jì)算每一個(gè)句子的表示向量時(shí)，所有句子的向量表示通過(guò)并行計(jì)算的方式一次性地計(jì)算完成，不能夠?qū)⑾惹耙堰x則的句子信息考慮在內(nèi)，這樣就使得一部分信息失去了參考價(jià)值，使得最終的提取結(jié)果不夠準(zhǔn)確。

發(fā)明內(nèi)容

針對(duì)現(xiàn)有技術(shù)存在的上述問(wèn)題，本發(fā)明要解決的技術(shù)問(wèn)題是：如何更準(zhǔn)確的提取文本中的關(guān)鍵信息作為文本摘要。

為解決上述技術(shù)問(wèn)題，本發(fā)明采用如下技術(shù)方案：

一種基于雙流注意力和位置殘差連接的文本摘要自動(dòng)抽取方法，包括如下步驟：

S100：選用公開(kāi)數(shù)據(jù)集，該數(shù)據(jù)集包括D個(gè)文本及每個(gè)文本對(duì)應(yīng)的實(shí)際摘要信息；所述每個(gè)文本包含若干條語(yǔ)句，且D中包含的所有語(yǔ)句都標(biāo)有原始標(biāo)簽；從帶有原始標(biāo)簽的數(shù)據(jù)集中隨機(jī)抽取一部分作為訓(xùn)練集，剩余部分作為測(cè)試集；

S200：構(gòu)建RBPSum模型，RBPSum模型包括句子編碼器、上下文編碼器和輸出層；

所述上下文編碼器由L個(gè)句子強(qiáng)化層組成，每個(gè)句子強(qiáng)化層由多層Transformer編碼器組成，Transformer編碼器中所使用的注意力機(jī)制是雙流自注意力；

所述輸出層包括位置殘差連接模塊和概率預(yù)測(cè)模塊；

S300：設(shè)訓(xùn)練集中包含P個(gè)文本和訓(xùn)練數(shù)據(jù)批次為Q，將P進(jìn)行Q等分得到A，即A＝P/Q，對(duì)RBPSum模型進(jìn)行初始化：

S400：令batch＝1；