[發(fā)明專利]一種文本摘要生成的方法、系統(tǒng)、設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201910645168.0
• 申請日: 2019-07-17
• 公開（公告）號: CN110442706B
• 公開（公告）日: 2023-02-03
• 發(fā)明（設(shè)計）人: 曾碧卿;張敏
• 申請（專利權(quán)）人: 華南師范大學(xué)
• 主分類號: G06F16/34
• 分類號: G06F16/34;G06F40/284
• 代理公司: 北京集佳知識產(chǎn)權(quán)代理有限公司 11227
• 代理人: 王曉坤

1.一種文本摘要生成的方法，其特征在于，包括：

對輸入的文本序列進行詞嵌入處理，得到所述文本序列的詞嵌入表示矩陣；

對所述詞嵌入表示矩陣進行局部注意力處理，得到具有局部注意力權(quán)重的詞嵌入表示矩陣；

利用預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)對所述具有局部注意力權(quán)重的詞嵌入表示矩陣進行卷積操作，得到所述文本序列的特征表達矩陣；

將所述文本序列的特征表達矩陣輸入至訓(xùn)練完成的摘要生成模型中，得到輸出結(jié)果，并將所述輸出結(jié)果作為所述文本序列的摘要；

其中，所述利用預(yù)設(shè)卷積神經(jīng)網(wǎng)絡(luò)對所述具有局部注意力權(quán)重的詞嵌入表示矩陣進行卷積操作，得到所述文本序列的特征表達矩陣，包括：

根據(jù)公式c_ij＝f(x_i:i+h-1k_j^Τ+b)確定根據(jù)第j個卷積核計算得到的詞x_i:i+h-1的向量表示；

根據(jù)各所述向量表示確定C_j＝[c_1j,c_2j,...,c_nj]為根據(jù)所述第j個卷積核得到的所述文本序列的特征表示；

根據(jù)各所述文本序列的特征表示確定為所述文本序列的特征表達矩陣；

其中，x_i:i+h-1為所述向量表示x_i,x_i+1,...,x_h-1的串接，m為所述卷積核的個數(shù)，c_ij為根據(jù)第j個卷積核計算得到的詞x_i:i+h-1的向量表示，k_j為所述第j個卷積核，b為偏置常數(shù)，f為激活函數(shù)；

其中，所述將所述文本序列的特征表達矩陣輸入至訓(xùn)練完成的摘要生成模型中，得到輸出結(jié)果，并將所述輸出結(jié)果作為所述文本序列的摘要，包括：

將所述文本序列的特征表達矩陣輸入到雙向RNN組成的編碼器中進行編碼，得到所述文本序列的隱藏狀態(tài)序列；

將所述文本序列的隱藏狀態(tài)序列輸入至解碼器中，并根據(jù)公式P_vocab(w)＝softmax(W_ss_t+b_s)計算第t個解碼步的目標詞存在于預(yù)定義詞表中的概率；

根據(jù)公式P_gen＝σ(W_cc_t+W_ss_t+W_xx_t+b_gen)計算所述第t個解碼步的目標詞的確定方式為自動生成的概率；

根據(jù)公式計算所述第t個解碼步的目標詞存在于未登錄詞表中的概率；

根據(jù)公式P(w)＝P_genP_vocab(w)+(1-P_gen)P_oov(w)計算所述第t個解碼步的目標詞被選擇的概率；

將所述P(w)最大的目標詞作為所述第t個解碼步的輸出詞；

其中，P_vocab(w)為所述第t個解碼步的目標詞w存在于所述預(yù)定義詞表中的概率，W_s為隱藏狀態(tài)權(quán)重，b_s、b_gen均為偏置常數(shù)，s_t為所述解碼器在t時刻的隱藏狀態(tài)，P_gen為所述第t個解碼步的目標詞w的確定方式為自動生成的概率，σ為sigmoid非線性函數(shù)，W_c為上下文權(quán)重，c_t為第t個輸入詞的帶注意力的上下文向量，W_x為輸入權(quán)重，x_t為第t個輸入詞的詞向量，P_oov(w)為所述第t個解碼步的目標詞w存在于所述未登錄詞表中的概率，α_ti為第i個詞的注意力權(quán)重，P(w)為所述第t個解碼步的目標詞w的被選擇的概率。