[發(fā)明專利]一種文本摘要生成的方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910645168.0
• 申請日: 2019-07-17
• 公開（公告）號: CN110442706B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計(jì)）人: 曾碧卿;張敏
• 申請（專利權(quán)）人: 華南師范大學(xué)
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F40/284
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王曉坤

本申請公開了一種文本摘要生成的方法，包括：對輸入的文本序列進(jìn)行詞嵌入處理、局部注意力處理及卷積操作，得到文本序列的特征表達(dá)矩陣；將文本序列的特征表達(dá)矩陣輸入至訓(xùn)練完成的摘要生成模型中，得到輸出結(jié)果，并將輸出結(jié)果作為文本序列的摘要。本申請令得到的文本序列的特征表達(dá)矩陣能更好的表達(dá)輸入文本更深層次的隱藏特征，更進(jìn)一步的提取了輸入文本的特征，相對于現(xiàn)有技術(shù)本申請著重于之前解碼步生成的文本信息，使得最終生成的摘要文本語義連貫，解決了現(xiàn)有技術(shù)存在的生成摘要語義無關(guān)、語句不通順的問題。本申請同時(shí)還提供了一種文本摘要生成的系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，具有上述有益效果。

技術(shù)領(lǐng)域

本申請涉及文本摘要生成領(lǐng)域，特別涉及一種文本摘要生成的方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)。

背景技術(shù)

隨著信息技術(shù)的發(fā)展，目前比較流行的自動(dòng)文本摘要方法大多基于深度學(xué)習(xí)實(shí)現(xiàn)，其中，以基于注意力機(jī)制的序列到序列(sequence-to-sequece，Seq2Sseq)模型(有時(shí)又被稱為編碼器-解碼器模型、encoder-decoder模型)的生成式摘要方法尤為常見。由于該模型結(jié)合卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network，CNN)或循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeural Network，RNN)和注意力機(jī)制，能更好地提取文本中蘊(yùn)含的隱藏特征信息，相比傳統(tǒng)自然語言處理方法有更明顯的優(yōu)勢。

然而，現(xiàn)有的基于神經(jīng)網(wǎng)絡(luò)的文本摘要方法由于忽略了之前解碼步生成的文本信息，從而導(dǎo)致生成摘要存在語義無關(guān)、語句不通順的問題。

因此，如何避免生成的文本摘要存在語義無關(guān)、語句不通順是本領(lǐng)域技術(shù)人員目前需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請的目的是提供一種文本摘要生成的方法、系統(tǒng)、設(shè)備及計(jì)算機(jī)可讀存儲介質(zhì)，用于避免生成的文本摘要存在語義無關(guān)、語句不通順。

為解決上述技術(shù)問題，本申請?zhí)峁┮环N文本摘要生成的方法，該方法包括：

對輸入的文本序列進(jìn)行詞嵌入處理，得到所述文本序列的詞嵌入表示矩陣；

對所述詞嵌入表示矩陣進(jìn)行局部注意力處理，得到具有局部注意力權(quán)重的詞嵌入表示矩陣；

利用預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)對所述具有局部注意力權(quán)重的詞嵌入表示矩陣進(jìn)行卷積操作，得到所述文本序列的特征表達(dá)矩陣；

將所述文本序列的特征表達(dá)矩陣輸入至訓(xùn)練完成的摘要生成模型中，得到輸出結(jié)果，并將所述輸出結(jié)果作為所述文本序列的摘要；

其中，利用預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)對所述具有注意力權(quán)重的詞嵌入表示矩陣進(jìn)行卷積操作，得到所述文本序列的特征表達(dá)矩陣，包括：

根據(jù)公式確定根據(jù)第j個(gè)卷積核計(jì)算得到的詞x_i:i+h-1的向量表示；

根據(jù)各所述向量表示確定C_j＝[c_1j,c_2j,...,c_nj]為根據(jù)所述第j個(gè)卷積核得到的所述文本序列的特征表示；

根據(jù)各所述文本序列的特征表示確定為所述文本序列的特征表達(dá)矩陣；

其中，x_i:i+h-1為所述加權(quán)詞向量表示x_i,x_i+1,...,x_h-1的串接，m為所述卷積核的個(gè)數(shù)，c_ij為根據(jù)第j個(gè)卷積核計(jì)算得到的詞x_i:i+h-1的向量表示，k_j為所述第j個(gè)卷積核，b為偏置常數(shù)，f為激活函數(shù)；

其中，將所述文本序列的特征表達(dá)矩陣輸入至訓(xùn)練完成的摘要生成模型中，得到輸出結(jié)果，并將所述輸出結(jié)果作為所述文本序列的摘要，包括：