[發(fā)明專利]一種基于多任務(wù)學(xué)習(xí)的標(biāo)題生成方法

在審

• 申請?zhí)枺?/td>: 202011258676.2
• 申請日: 2020-11-11
• 公開（公告）號(hào): CN112417149A
• 公開（公告）日: 2021-02-26
• 發(fā)明（設(shè)計(jì)）人: 劉博;胡志超
• 申請（專利權(quán)）人: 北京工業(yè)大學(xué)
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06F40/216;G06F40/242;G06F40/284;G06N3/04;G06N3/08
• 代理公司: 北京思海天達(dá)知識(shí)產(chǎn)權(quán)代理有限公司 11203
• 代理人: 劉萍

本發(fā)明提出一種基于多任務(wù)學(xué)習(xí)的標(biāo)題生成方法，首先獲取需要進(jìn)行標(biāo)題生成的源文本數(shù)據(jù)，并且進(jìn)行清洗等預(yù)處理，將文章送入Self?Encoder端的BiLSTM模型進(jìn)行特征提取，之后再通過TextRank算法以及多任務(wù)學(xué)習(xí)模塊提取文章中的關(guān)鍵詞，再將關(guān)鍵詞送入Keywords?Encoder端進(jìn)行特征提取，然后將融合關(guān)鍵詞信息和源文本信息的特征送入由BiLSTM組成的Decoder端。該網(wǎng)絡(luò)更好的利用了原文中的關(guān)鍵詞信息來進(jìn)行標(biāo)題生成，極大的豐富了特征提取的信息，提高了生成標(biāo)題的質(zhì)量。

技術(shù)領(lǐng)域：

本發(fā)明屬于文本生成領(lǐng)域。尤其涉及到一些循環(huán)神經(jīng)網(wǎng)絡(luò)、注意力機(jī)制、 多任務(wù)學(xué)習(xí)等。

背景技術(shù)：

隨著互聯(lián)網(wǎng)技術(shù)在國內(nèi)的迅猛發(fā)展以及各種軟硬件的不斷更新升級(jí)，使 得人們獲取信息的方式變得更加的多樣化，同時(shí)也由于獲取信息的成本越來 越小，導(dǎo)致每天獲取的信息總量也增加了很多。然而，信息化的迅速發(fā)展給 人們帶來便利的同時(shí)，使得網(wǎng)絡(luò)中充斥著大量冗余、非結(jié)構(gòu)化的文本信息， 大大降低了人們獲取信息的效率。因此，如何通過機(jī)器來提取、精煉文本中 的關(guān)鍵有效信息，如何通過生成標(biāo)題來快速獲取文章的主題思想，已經(jīng)成為 當(dāng)今學(xué)術(shù)研究的熱點(diǎn)。國內(nèi)外已經(jīng)對(duì)這一研究領(lǐng)域已經(jīng)有較為成熟的理解和技術(shù)方法，且主要可分為兩種：首先是抽取式生成標(biāo)題(Extractive HeadlineGeneration,EHG)方法,這類方法主要是基于傳統(tǒng)的統(tǒng)計(jì)學(xué)知識(shí)，強(qiáng)調(diào)文章的 表層含義，主要考察詞匯的頻率、句子的位置、句子的長度等信息。基于統(tǒng) 計(jì)的方法進(jìn)行摘要自動(dòng)提取的技術(shù)簡單、便捷、易于實(shí)現(xiàn)，但是僅以文章的 表層詞匯信息難以刻畫句子的整體語義，不能很好的衡量句子的重要性；沒 有考慮句子的上下文信息，難以全局性的選出符合要求的句子；隨著神經(jīng)網(wǎng)絡(luò) 模型的不斷發(fā)展與完善，第二種方法被有些學(xué)者提出，即生成式生成標(biāo)題 (Abstractive Headline Generation,AHG)方法。這類方法可以很好的解決使 用EHG方法帶來的生成的標(biāo)題不能描述文章完整語義的問題。Soricut等人提 出一種生成生成式標(biāo)題的WIDL-expression，利用該表達(dá)式可以將相關(guān)的文本 信息轉(zhuǎn)換成一定結(jié)構(gòu)特征的標(biāo)題。隨后，序列到序列(Sequence to Sequence， Seq2Seq)模型越來越多的被運(yùn)用到文本生成的領(lǐng)域。2018年Hayashi等人將 摘要生成領(lǐng)域的Encoder-Decoder架構(gòu)利用到標(biāo)題生成任務(wù)上，其中Encoder 用來編碼源文本輸入，一個(gè)Decoder用來解碼，輸出目標(biāo)文本，但是由于此 種網(wǎng)絡(luò)結(jié)構(gòu)是基于循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN),所以存在并行度低，無法解決長期依 賴的問題。2019年由Gavrilov等人提出了Self-Attentive模型，在解決長 期依賴問題的同時(shí)進(jìn)行標(biāo)題生成。然而對(duì)于生成式標(biāo)題來說，得到的語義和 目標(biāo)標(biāo)題仍有一定差距，并且生成的標(biāo)題難以符合語義規(guī)則，標(biāo)題可讀性較 弱。

發(fā)明內(nèi)容

為解決傳統(tǒng)的生成式標(biāo)題生成方法從源文本中提取出的語義向量難 以將所有的關(guān)鍵信息準(zhǔn)確涵蓋的問題，本發(fā)明提出一種基于多任務(wù)學(xué)習(xí)模型 的標(biāo)題生成方法。

本發(fā)明的技術(shù)方案包括如下內(nèi)容：

首先對(duì)包含源文本和對(duì)應(yīng)參考標(biāo)題的數(shù)據(jù)集進(jìn)行句子清洗、去除空格 以及特殊字符，得到預(yù)處理結(jié)果；利用TextRank算法對(duì)預(yù)處理后的源文本進(jìn) 行詞的權(quán)重計(jì)算得到關(guān)鍵詞權(quán)重序列。然后構(gòu)建所需字典，key、value分別 表示詞和對(duì)應(yīng)的id。然后將需要處理的源文本根據(jù)字典轉(zhuǎn)換為相應(yīng)的id，并 且通過模型維度為m的Embedding層進(jìn)行詞向量初始化，然后根據(jù)id找到詞 對(duì)應(yīng)的詞向量。將詞向量送入模型的Encoder端，進(jìn)行特征提取，并且在提 取的過程中通過多任務(wù)學(xué)習(xí)訓(xùn)練關(guān)鍵詞分類器，通過關(guān)鍵詞抽取器生成源文 本的對(duì)應(yīng)關(guān)鍵詞權(quán)重序列。之后將源文本的特征向量與之前計(jì)算得到的關(guān)鍵 詞特征向量進(jìn)行融合，并將融合后的向量作為輸入輸入到采用雙向長短期記 憶神經(jīng)網(wǎng)絡(luò)(BidirctionLong Short-Term Memory,BiLSTM)模型的Decoder 端進(jìn)行標(biāo)題生成，這樣便得到了一個(gè)基于BiLSTM和多任務(wù)學(xué)習(xí)架構(gòu)的標(biāo)題生 成框架。