[發(fā)明專利]文摘自動提取方法、裝置、計算機(jī)設(shè)備及存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 201810191506.3
• 申請日: 2018-03-08
• 公開（公告）號: CN108509413A
• 公開（公告）日: 2018-09-07
• 發(fā)明（設(shè)計）人: 林林
• 申請（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號: G06F17/27
• 分類號: G06F17/27;G06F17/22
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 林燕云

1.一種文摘自動提取方法，其特征在于，包括：

依序獲取目標(biāo)文本所包括的字符，將字符按順序輸入至LSTM模型中的第一層LSTM結(jié)構(gòu)進(jìn)行編碼，得到隱含狀態(tài)組成的序列；其中LSTM模型為長短記憶神經(jīng)網(wǎng)絡(luò)；

將隱含狀態(tài)組成的序列輸入至LSTM模型中的第二層LSTM結(jié)構(gòu)進(jìn)行解碼，得到摘要的字詞序列；

將摘要的字詞序列輸入至LSTM模型中的第一層LSTM結(jié)構(gòu)進(jìn)行編碼，得到更新后隱含狀態(tài)組成的序列；

根據(jù)更新后隱含狀態(tài)組成的序列中編碼器隱藏狀態(tài)的貢獻(xiàn)值，獲取與編碼器隱藏狀態(tài)的貢獻(xiàn)值相對應(yīng)的上下文向量；

根據(jù)更新后隱含狀態(tài)組成的序列及上下文向量，獲取更新后隱含狀態(tài)組成的序列中字詞的概率分布，將字詞的概率分布中概率最大的字詞輸出作為目標(biāo)文本的摘要。

2.根據(jù)權(quán)利要求1所述的文摘自動提取方法，其特征在于，所述依序獲取目標(biāo)文本所包括的字符，將字符按順序輸入至LSTM模型中的第一層LSTM結(jié)構(gòu)進(jìn)行編碼，得到隱含狀態(tài)組成的序列之前，還包括：

將語料庫中的多篇?dú)v史文本置入第一層LSTM結(jié)構(gòu)，并將歷史文本對應(yīng)的文摘置入第二層LSTM結(jié)構(gòu)，進(jìn)行訓(xùn)練得到LSTM模型。

3.根據(jù)權(quán)利要求1所述的文摘自動提取方法，其特征在于，所述LSTM模型為門限循環(huán)單元，所述門限循環(huán)單元的模型如下：

z_t＝σ(W_z·[h_t-1，x_t])

r_t＝σ(W_r·[h_t-1x_t])

其中，W_z、W_r、W是訓(xùn)練得到的權(quán)值參數(shù)值，x_t是輸入，h_t-1是隱含狀態(tài)，z_t是更新狀態(tài)，r_t是重置信號，是與隱含狀態(tài)h_t-1對應(yīng)的新記憶，h_t是輸出，σ()是sigmoid函數(shù)，tanh()是雙曲正切函數(shù)。

4.根據(jù)權(quán)利要求3所述的文摘自動提取方法，其特征在于，所述將隱含狀態(tài)組成的序列輸入至LSTM模型中的第二層LSTM結(jié)構(gòu)進(jìn)行解碼，得到摘要的字詞序列中，所述摘要的字詞序列為與詞表大小相同的多項(xiàng)式分布層，并輸出向量y^t∈R^K；其中y^t中的第k維代表生成第k個詞語的概率，t的取值為正整數(shù)，K為歷史文本所對應(yīng)詞表的大小。

5.根據(jù)權(quán)利要求2所述的文摘自動提取方法，其特征在于，所述將隱含狀態(tài)組成的序列輸入至LSTM模型中的第二層LSTM結(jié)構(gòu)進(jìn)行解碼，得到摘要的字詞序列，包括：

獲取隱含狀態(tài)組成的序列中概率最大的詞，將隱含狀態(tài)組成的序列中概率最大的詞作為摘要的字詞序列中的初始位詞語；

將初始位詞語中的每個字輸入至第二層LSTM結(jié)構(gòu)，與第二層LSTM結(jié)構(gòu)的詞表中每一字進(jìn)行組合得到組合后序列，獲取組合后序列中概率最大的詞作為隱含狀態(tài)組成的序列；

重復(fù)執(zhí)行隱含狀態(tài)組成的序列中每一字輸入至第二層LSTM結(jié)構(gòu)，與第二層LSTM結(jié)構(gòu)的詞表中每一字進(jìn)行組合得到組合后序列，獲取組合后序列中概率最大的詞作為隱含狀態(tài)組成的序列的步驟，直至檢測到隱含狀態(tài)組成的序列中的每一字與詞表中的終止符組合時停止，并將隱含狀態(tài)組成的序列作為摘要的字詞序列。