[發(fā)明專利]一種基于增強(qiáng)語義的自動文本摘要方法

有效

• 申請?zhí)枺?/td>: 201810281684.5
• 申請日: 2018-04-02
• 公開（公告）號: CN108804495B
• 公開（公告）日: 2021-10-22
• 發(fā)明（設(shè)計(jì)）人: 史景倫;洪冬梅;寧培陽;王桂鴻
• 申請（專利權(quán)）人: 華南理工大學(xué)
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F40/289
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 李斌

1.一種基于增強(qiáng)語義的自動文本摘要方法，其特征在于，所述的自動文本摘要方法包括：

文本預(yù)處理步驟，對文本進(jìn)行分詞、形態(tài)還原以及指代消解，按照詞頻信息從高到低排列，將詞轉(zhuǎn)為id序列；

編碼步驟，將輸入序列進(jìn)行編碼，經(jīng)過神經(jīng)網(wǎng)絡(luò)得到攜帶文本序列信息的隱藏層狀態(tài)向量；

解碼步驟，將由編碼器得到的最后隱藏層狀態(tài)進(jìn)行初始化，開始進(jìn)行解碼獲得每一步隱藏層狀態(tài)s_t；

注意力分布計(jì)算步驟，結(jié)合輸入序列的隱藏層狀態(tài)與當(dāng)前時(shí)刻解碼獲得的隱藏層狀態(tài)s_t進(jìn)行語境向量的計(jì)算，得到當(dāng)前t時(shí)刻的語境向量u_t；

摘要生成步驟，將解碼步驟得到的輸出經(jīng)過兩個(gè)線性層映射為詞表大小維度的向量，每一個(gè)維代表詞表中單詞的概率，用選擇策略選出候選詞，生成摘要；其中，所述的選擇策略指的是測試階段用beam search算法在每一步選出概率最大的4個(gè)結(jié)果，直到最后得到概率最大的摘要序列，而訓(xùn)練階段只選概率最大的詞，摘要完全生成后與參考摘要進(jìn)行對比評估；

所述的摘要生成步驟還包括：將最終得到的預(yù)測摘要和源文本序列進(jìn)行語義相似度Rel計(jì)算，訓(xùn)練過程懲罰低語義相關(guān)度的摘要，計(jì)算如下：

其中，和分別是前向和后向的隱藏層狀態(tài)，G_t是編碼器隱藏層狀態(tài)，λ是一個(gè)可調(diào)節(jié)因子，M是生成的摘要序列長度，loss_t是每一步的損失，與語義相似度Rel結(jié)合構(gòu)成總的損失loss；

所述的摘要生成步驟中，每一步只生成一個(gè)詞，最終生成摘要最大長度為100，也就是從編碼步驟到摘要生成步驟最大循環(huán)次數(shù)是100，當(dāng)輸出結(jié)束標(biāo)志或者達(dá)到最大長度時(shí)停止，概率計(jì)算公式如下：

p_v＝softmax(V₁(V₂[s_t,u_t]+b₂)+b₁)

其中，V₁，V₂，b₁，b₂都是需要學(xué)習(xí)的參數(shù)，p_v為預(yù)測下一個(gè)單詞提供依據(jù)。

2.根據(jù)權(quán)利要求1所述的一種基于增強(qiáng)語義的自動文本摘要方法，其特征在于，所述的文本預(yù)處理步驟中文本的數(shù)據(jù)是通過爬蟲爬取的語料庫或開源的語料庫，并由文章-摘要對組成。

3.根據(jù)權(quán)利要求1所述的一種基于增強(qiáng)語義的自動文本摘要方法，其特征在于，所述的文本預(yù)處理步驟中，獲取前200k的詞作為基本詞表，同時(shí)將特殊標(biāo)記[PAD]、[UNK]、[START]和[STOP]加入詞表，并把文本的詞轉(zhuǎn)為id序列，每一篇對應(yīng)一個(gè)序列。

4.根據(jù)權(quán)利要求1所述的一種基于增強(qiáng)語義的自動文本摘要方法，其特征在于，所述的輸入序列是將文本經(jīng)過轉(zhuǎn)換后獲得的id序列對應(yīng)的詞向量，詞向量維度128，序列最大長度取為700。

5.根據(jù)權(quán)利要求1所述的一種基于增強(qiáng)語義的自動文本摘要方法，其特征在于，所述的神經(jīng)網(wǎng)絡(luò)是一個(gè)單層雙向的LSTM，隱藏層單元數(shù)是256，將正反向的隱藏層狀態(tài)h連接起來得到最終隱藏層狀態(tài)。

6.根據(jù)權(quán)利要求1所述的一種基于增強(qiáng)語義的自動文本摘要方法，其特征在于，所述的解碼步驟過程如下：

接收輸入的詞向量以及上一時(shí)刻隱藏層狀態(tài)，經(jīng)過單層單向的LSTM神經(jīng)網(wǎng)絡(luò)，得到當(dāng)前時(shí)刻隱藏層狀態(tài)s_t，隱藏單元數(shù)是256。

7.根據(jù)權(quán)利要求1所述的一種基于增強(qiáng)語義的自動文本摘要方法，其特征在于，所述的語境向量u_t的計(jì)算方式如下：

其中，v，W_h，W_s和b_att是需要學(xué)習(xí)的參數(shù)，h_i為encoder的隱藏層狀態(tài)值，N為輸入序列的長度。