[發(fā)明專利]一種融合全局和局部語(yǔ)義特征的文本摘要生成方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310096168.6
• 申請(qǐng)日: 2023-02-10
• 公開(kāi)（公告）號(hào): CN116069924A
• 公開(kāi)（公告）日: 2023-05-05
• 發(fā)明（設(shè)計(jì)）人: 袁非牛;戴維;汪春梅
• 申請(qǐng)（專利權(quán)）人: 上海師范大學(xué)
• 主分類號(hào): G06F16/34
• 分類號(hào): G06F16/34;G06F18/25;G06N3/08;G06N3/0455;G06N3/0442;G06N3/0464
• 代理公司: 上海唯智贏專利代理事務(wù)所(普通合伙) 31293
• 代理人: 劉朵朵

1.一種融合全局和局部語(yǔ)義特征的文本摘要生成方法，其特征在于，包括如下步驟：

(1)接收待生成摘要的文本，并進(jìn)行預(yù)處理；

(2)構(gòu)建文本摘要生成模型，所述模型包括：全局語(yǔ)義特征提取模塊和局部語(yǔ)義特征提取模塊、注意力機(jī)制以及基于指針機(jī)制的解碼層；

將所述預(yù)處理后的文本分別輸入全局語(yǔ)義特征提取模塊和局部語(yǔ)義特征提取模塊，得到全局語(yǔ)義特征向量和局部語(yǔ)義特征向量；將所述全局語(yǔ)義特征向量和局部語(yǔ)義特征向量輸入注意力機(jī)制中進(jìn)行融合，得到融合全局和局部語(yǔ)義特征的上下文向量；

根據(jù)得到的所述上下文向量，輸入基于指針機(jī)制的解碼層，得到最終生成的文本摘要；

(3)基于損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練，得到訓(xùn)練好的所述文本摘要生成模型；

(4)將經(jīng)過(guò)步驟(1)處理后的待生成摘要的文本，輸入訓(xùn)練好的所述文本摘要生成模型，生成文本摘要。

2.根據(jù)權(quán)利要求1所述的融合全局和局部語(yǔ)義特征的文本摘要生成方法，其特征在于，所述預(yù)處理具體包括：

使用jieba分詞器對(duì)文本進(jìn)行分詞處理；

去除無(wú)用的標(biāo)簽、特殊符號(hào)和停用詞；

對(duì)于過(guò)長(zhǎng)的所述文本進(jìn)行截?cái)嗵幚怼?/p>

3.根據(jù)權(quán)利要求1所述的融合全局和局部語(yǔ)義特征的文本摘要生成方法，其特征在于：

所述全局語(yǔ)義特征提取模塊由卷積神經(jīng)網(wǎng)絡(luò)和單層雙向的長(zhǎng)短期序列網(wǎng)絡(luò)組成，將卷積神經(jīng)網(wǎng)絡(luò)CNN和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)Bi-LSTM的輸出進(jìn)行融合，得到全局語(yǔ)義特征向量；

所述局部語(yǔ)義特征提取模塊由keybert關(guān)鍵詞提取器和基于transformer的多頭自注意力機(jī)制組成。

4.根據(jù)權(quán)利要求3所述的融合全局和局部語(yǔ)義特征的文本摘要生成方法，其特征在于，將卷積神經(jīng)網(wǎng)絡(luò)CNN和雙向長(zhǎng)短期記憶網(wǎng)絡(luò)Bi-LSTM的輸出進(jìn)行融合具體為：

(2.1)所述預(yù)處理后的文本輸入所述卷積神經(jīng)網(wǎng)絡(luò)CNN，計(jì)算公式如下：

m_i＝f(W_cx_i:h+h-1+b_c)

其中，h指的是卷積核的長(zhǎng)度，x_i:i+h-1表示所述預(yù)處理后的文本中從第i個(gè)詞向量開(kāi)始到h個(gè)詞向量組成的矩陣，f表示非線性激活函數(shù)，b_c為偏置項(xiàng)，W_c表示卷積核；

(2.2)所述預(yù)處理后的文本輸入所述雙向長(zhǎng)短期記憶網(wǎng)絡(luò)Bi-LSTM，計(jì)算公式如下：

其中，和分別表示該單詞在Bi-LSTM隱藏層的正向狀態(tài)和反向狀態(tài)表示，h_i表示Bi-LSTM編碼器隱藏層狀態(tài)；

(2.3)融合得到全局語(yǔ)義特征向量：

p_i＝h_i+m_i

其中：p_i為全局語(yǔ)義特征向量。

5.根據(jù)權(quán)利要求3所述的融合全局和局部語(yǔ)義特征的文本摘要生成方法，其特征在于，所述keybert關(guān)鍵詞提取器具體過(guò)程如下：

首先使用BERT獲取所述預(yù)處理后的文本的向量級(jí)表示，隨后針對(duì)n元詞組或短語(yǔ)與所述預(yù)處理后的文本向量進(jìn)行相似度計(jì)算，根據(jù)結(jié)果查找出相似度最高的詞組或短語(yǔ)，并將其作為關(guān)鍵詞提取出來(lái)。