[發明專利]基于句子關聯注意力機制的文本摘要生成方法

有效

• 申請號: 201910635509.6
• 申請日: 2019-07-15
• 公開（公告）號: CN110348016B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 郭軍軍;趙瑤;余正濤;黃于欣;吳瑾娟;朱恩昌;相艷
• 申請（專利權）人: 昆明理工大學
• 主分類號: G06F40/211
• 分類號: G06F40/211;G06F40/30;G06N3/04
• 代理公司: 昆明人從眾知識產權代理有限公司 53204
• 代理人: 李曉亞

1.基于句子關聯注意力機制的文本摘要生成方法，其特征在于：具體步驟如下：

Step1、收集并處理新聞文本摘要數據作為訓練語料、驗證語料和測試語料；

Step2、對文檔進行預處理，包括分詞、去停用詞、切分句子；

Step3、使用分層的雙向長短期記憶Bi-LSTM網絡對文檔進行編碼，獲取全文語義向量；

Step4、構建第一層門控網絡，依據句子間的關聯關系識別源文檔中句子所占的權重；

Step5、構建第二層門控網絡，依據句子的關聯性對句子進行冗余約束，過濾多次重復表達的信息；

Step6、基于句子關聯性注意力機制的解碼算法生成摘要；

所述Step4中：

構建的第一層門控網絡，是由文檔中每個句子的隱層編碼向量h_i和文檔的向量表示d共同組建，通過構建句子與全文語義之間的關聯關系識別文檔中的句子的權重，門控網絡的構建將促使隱層編碼向量h_i包含的信息更好的傳遞至全文語義向量中，參與摘要的生成，第一層門控網絡公式如下所示：

G₁＝σ(W₁h_i+U₁d+b₁) (1)

h_iG1＝G₁⊙h_i (2)

其中，G₁是門控向量，W₁和U₁是權重向量，b₁是偏移向量，σ代表sigmoid激活函數，操作符⊙表示按元素相乘，表示文檔的語義向量由句子級編碼的前向和后向對應的隱層狀態拼接而成，h_iG1表示句子的隱層編碼向量經過門控網絡后形成的新的隱層狀態；在這個階段，句子在文檔中所占的權重將通過門控網絡融入其向量表示中，提升模型對于重要句的識別能力；

所述Step5的具體步驟為：依據句子的關聯性對句子進行冗余約束，第二層門控網絡的輸入是當前時刻的句子向量x_i與前一時刻的隱層狀態h_(i-1)G1，得到新的編碼表示h_iG2，在訓練過程中，通過調整第二層門控網絡的σ函數動態地控制文檔中冗余句子的篩選；由于門控采用了包含句子權重的編碼向量作為輸入的一部分，因此本階段同時考慮句子的重要性，冗余性對摘要生成的影響，第二層門控網絡的公式如下所示：

G₂＝σ(W₂x_i+U₂h_(i-1)G1+b₂) (4)

h_iG2＝G₂⊙h_iG1 (5)

其中，G₂是門控向量，W₂和U₂是權重向量，b₂是偏移向量，σ是激活函數，和分別表示詞級編碼中第i個句子的前向最后一個隱層狀態和后向最后一個隱層狀態，h_iG1表示句子的隱層編碼向量經過門控網絡后形成的新的隱層狀態，操作符⊙表示按元素相乘。

2.根據權利要求1所述的基于句子關聯注意力機制的文本摘要生成方法，其特征在于：所述步驟Step1中，借助互聯網爬蟲自動獲取網上的新聞文本信息作為數據來源，收集整理了22萬余篇新聞文檔作為實驗數據，并以9:0.5:0.5的比例劃分訓練集、驗證集、測試集。