[發明專利]一種融合全局和局部語義特征的文本摘要生成方法及系統

在審

• 申請號: 202310096168.6
• 申請日: 2023-02-10
• 公開（公告）號: CN116069924A
• 公開（公告）日: 2023-05-05
• 發明（設計）人: 袁非牛;戴維;汪春梅
• 申請（專利權）人: 上海師范大學
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F18/25;G06N3/08;G06N3/0455;G06N3/0442;G06N3/0464
• 代理公司: 上海唯智贏專利代理事務所(普通合伙) 31293
• 代理人: 劉朵朵

本發明公開了一種融合全局和局部語義特征的文本摘要生成方法及系統，屬于自然語言處理技術領域。該方法包括：接收待生成摘要的文本，并進行預處理；將所述預處理后的文本分別輸入全局語義特征提取模塊和局部語義特征提取模塊，得到全局語義特征向量和局部語義特征向量；將其輸入注意力機制中進行融合，得到上下文向量；根據得到的所述上下文向量，輸入基于指針機制的解碼層，得到最終生成的文本摘要。本發明融合局部語義特征與全局語義特征，加強了生成摘要的準確性和模型對語義信息提取的能力；使用基于指針機制的解碼器，同時從原文和詞表中抽取詞匯組成最終生成的摘要，解決文本摘要領域常見的詞表外單詞OOV問題。

技術領域

本發明涉及自然語言處理技術領域，特別涉及一種融合全局和局部語義特征的文本摘要生成方法及系統。

背景技術

隨著互聯網時代的發展，大量的信息包括圖片、視頻、文本等不斷涌現在網絡上，影響著人們的生活。然而，在人們享受著信息給我們帶來便利的同時，信息超載的問題越來越常見，如何從大量的信息當中準確的提取出最主要的內容顯得尤為重要。文本信息作為互聯網上最為常見的信息形式之一，如何準確的幫助用戶從海量文本信息中獲取最主要的信息成為目前亟待解決的問題。

自動文本摘要技術是自然語言處理技術中的一個分支，在輸入一長串的文本后，通過機器快速提取出文本的主要內容并總結成摘要，可以幫助用戶節省時間并提高閱讀效率。目前自動文本摘要技術已經在許多領域諸如新聞標題生成、關鍵信息檢索和輿情檢測等領域得到了廣泛的應用。

根據自動文本摘要的生成方式，可將其分為抽取式文本摘要和抽象式文本摘要。抽取式文本摘要通過直接從原文本中抽取詞語和句子組成最終生成的摘要，此方法在摘要生成的句子可讀性和流暢性等方面有著較好的表現。抽象式文本摘要通過從建立的詞表中抽取單詞組成最終生成的摘要，隨著近些年深度學習的發展，抽象式文本摘要在語句生成的準確率和可讀性方面均有著較好的發展。與此同時，摘要生成方法依舊存在著許多問題，諸如語義表達不清和詞表外單詞(out?of?vocabulary，OOV)等問題亟待解決

發明內容

為了解決當前技術中存在的缺陷，本發明引入卷積神經網絡加強對文本全局語義特征的提取，并通過keybert關鍵詞提取器和多頭自注意力機制提取文本局部語義特征，提升傳統模型的整體能力并解決摘要生成過程中語義表達不清和語義信息缺失等技術問題。

為了達到上述目的，本發明提供了一種融合全局和局部語義特征的文本摘要生成方法，包括如下步驟：

(1)接收待生成摘要的文本，并進行預處理；

(2)構建文本摘要生成模型，所述模型包括：全局語義特征提取模塊和局部語義特征提取模塊、注意力機制以及基于指針機制的解碼層；

將所述預處理后的文本分別輸入全局語義特征提取模塊和局部語義特征提取模塊，得到全局語義特征向量和局部語義特征向量；

將所述全局語義特征向量和局部語義特征向量輸入注意力機制中進行融合，得到融合全局和局部語義特征的上下文向量；

根據得到的所述上下文向量，輸入基于指針機制的解碼層，得到最終生成的文本摘要；

(3)基于損失函數對模型進行訓練，得到訓練好的所述文本摘要生成模型；

(4)將經過步驟(1)處理后的待生成摘要的文本，輸入訓練好的所述文本摘要生成模型，生成文本摘要。

進一步的，所述預處理具體包括：

使用jieba分詞器對文本進行分詞處理；

去除無用的標簽、特殊符號和停用詞；

對于過長的所述文本進行截斷處理。