[發(fā)明專利]一種基于編碼器-解碼器的生成式摘要提取方法有效
| 申請?zhí)枺?/td> | 201910315538.4 | 申請日： | 2019-04-19 |
| 公開（公告）號： | CN110032638B | 公開（公告）日： | 2021-04-13 |
| 發(fā)明（設(shè)計）人： | 李媛;黃曉;陳翔 | 申請（專利權(quán)）人： | 中山大學(xué) |
| 主分類號： | G06F16/34 | 分類號： | G06F16/34;G06F40/279;G06N3/04 |
| 代理公司： | 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245 | 代理人： | 李盛洪 |
| 地址： | 510275 廣東*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 一種 基于 編碼器 解碼器 生成 摘要 提取 方法 | ||
本發(fā)明公開了一種基于編碼器?解碼器的生成式摘要提取方法，該方法基于含有注意力機制的編碼器?解碼器框架，引入了變分自編碼網(wǎng)絡(luò)和復(fù)制的思想。方法的編碼器部分與常規(guī)編碼器相同，所用基本單元為GRU，解碼器部分共有三層，第一層和第二層是GRU解碼層，用于確定性部分的輸出，第三層是變分自編碼層，用于潛在結(jié)構(gòu)變量部分的輸出，而注意力機制將會被引入到第二層GRU中。在網(wǎng)絡(luò)的輸出部分，將復(fù)制部分和生成部分的隱藏層狀態(tài)合為一體后映射為網(wǎng)絡(luò)的輸出。同時，在變分自編碼層中增加了歷史依賴項，使之能夠適應(yīng)時序網(wǎng)絡(luò)。該方法充分利用了編碼器隱藏層狀態(tài)的信息，提高了輸出準(zhǔn)確率，具有更好的性能。
技術(shù)領(lǐng)域
本發(fā)明涉及摘要提取技術(shù)領(lǐng)域，具體涉及一種基于編碼器-解碼器的生成式摘要提取方法。
背景技術(shù)
如今，網(wǎng)絡(luò)上到處都充斥著不同種類的信息，如何從海量信息中提取出最關(guān)鍵最有效的信息成為非常重要的研究方向。文本摘要提取能夠從單篇或多篇文檔中自動生成關(guān)鍵摘要，幫助人們快速獲取需要的信息。目前，摘要提取技術(shù)已經(jīng)應(yīng)用在文本相關(guān)的各個領(lǐng)域，主要是為了處理信息過載問題。例如，摘要提取技術(shù)可以自動提煉新聞標(biāo)題，幫助人們在最短的時間內(nèi)了解最有價值的新聞內(nèi)容。
目前主流的文本摘要提取算法大致可以分為兩種類型：抽取式摘要和生成式摘要。抽取式摘要思路比較簡單，即根據(jù)一定的算法，從原文本中找到與原文本中心思想最一致的一個或幾個句子組成摘要。抽取式摘要方法提取出的摘要質(zhì)量以及流暢度都差強人意，但技術(shù)相對比較成熟，且算法簡單，成本較低，因此仍具有巨大的研究價值。生成式摘要較為復(fù)雜，即計算機根據(jù)算法對原文本進行閱讀和理解，并按照自己的方式生成流暢的摘要語句。相比于抽取式摘要，生成式摘要方法更接近人寫摘要的過程。2014年，由谷歌公司的谷歌大腦團隊提出的seq2seq模型，開啟了自然語言處理領(lǐng)域中端到端網(wǎng)絡(luò)的火熱研究。
近年來，深度神經(jīng)網(wǎng)絡(luò)模型的出現(xiàn)極大地推動了機器學(xué)習(xí)的發(fā)展。深度學(xué)習(xí)方法可以從原始數(shù)據(jù)中自動抽取內(nèi)在特征，避免了繁重的人工特征抽取過程，文本摘要提取也因為結(jié)合了深度神經(jīng)網(wǎng)絡(luò)模型而取得了更優(yōu)的效果。其中，編碼器-解碼器框架頻繁地應(yīng)用于摘要提取、機器翻譯、推薦系統(tǒng)等自然語言處理任務(wù)中。該框架可以有效處理序列轉(zhuǎn)換問題，先將輸入序列按照順序進行輸入編碼，再根據(jù)編碼向量按順序解碼出目標(biāo)序列，解碼過程中，還可以利用各種注意力機制，使得解碼過程更優(yōu)。
雖然現(xiàn)有很多模型中都引入了注意力機制，但都不是非常充分，如果能夠在模型的解碼部分更多地強調(diào)注意力機制的作用，同時又不舍棄模型本身的輸出狀態(tài)，而是將它們同時作為輸出狀態(tài)的一部分，將有可能獲得更好的模型性能。
發(fā)明內(nèi)容
本發(fā)明的目的是為了解決現(xiàn)有技術(shù)中的上述缺陷，提供一種基于編碼器-解碼器的生成式摘要提取方法，將變分自編碼嵌入到解碼器中，并引入了復(fù)制的思想，使得摘要提取能夠充分考慮注意力機制的作用，從而獲得更好的摘要提取性能。
本發(fā)明的目的可以通過采取如下技術(shù)方案達到：
一種基于編碼器-解碼器的生成式摘要提取方法，所述的生成式摘要提取方法包括以下步驟：
S1、對于給定的摘要數(shù)據(jù)集，首先進行預(yù)處理過程，經(jīng)預(yù)處理后得到短文本特征和目標(biāo)摘要特征Y＝[y1，y2，...，yT]，然后將短文本特征X輸入到由編碼器和解碼器組成的網(wǎng)絡(luò)中進行訓(xùn)練，所述的編碼器用于對輸入短文本特征X進行編碼形成編碼向量，所述的解碼器用于對編碼向量進行解碼輸出目標(biāo)摘要；
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于中山大學(xué)，未經(jīng)中山大學(xué)許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910315538.4/2.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
