[發(fā)明專利]一種融合主題的PGN-GAN文本摘要模型

在審

• 申請?zhí)枺?/td>: 202110646495.5
• 申請日: 2021-06-10
• 公開（公告）號: CN113360601A
• 公開（公告）日: 2021-09-07
• 發(fā)明（設(shè)計）人: 郭繼峰;費禹瀟;呂帥;孫文博
• 申請（專利權(quán)）人: 東北林業(yè)大學(xué)
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/34;G06F40/242;G06N3/08
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種融合主題的PGN-GAN文本摘要模型，其特征在于，包括如下步驟：

步驟1：給定文本集合中的每篇文檔，利用隱狄利克雷模型得到主題詞和主題文檔分布

步驟2：在主題分布中選取前k個作為主題詞，得到主題詞向量

步驟3：將普通編碼器的最終隱藏層狀態(tài)作為主題注意力層的輸入，形成復(fù)合注意力。

步驟4：生成器將源文本和主題詞作為輸入，在經(jīng)過帶有復(fù)合注意力機制的編碼器后將x轉(zhuǎn)變?yōu)殡[藏狀態(tài)，搭建指針生成網(wǎng)絡(luò)和生成對抗網(wǎng)絡(luò)，鑒別器用來區(qū)分文本是機器生成的還是真實樣本。

步驟5：將輸出向量傳入解碼器，通過解碼器得到最終生成的文本。

2.根據(jù)權(quán)利要求1所述的一種融合主題的PGN-GAN文本摘要模型，其特征在于，所述步驟1包括如下步驟：

步驟1.1：給定文本集合中的每篇文檔，生成一個隱迪利克雷分布模型，得到θ_m作為主題——文檔分布

步驟1.2：每個主題t，依據(jù)以β為參數(shù)的狄利克雷分布得到分布\varphi_k，即主題詞分布。

步驟1.3：利用主題詞分布和主題文檔分布得到詞T_{mn}和w_{mn}

步驟1.4：利用吉布斯采樣來進行求解，對于當前文檔的每一個詞我們隨機賦予一個主題編號，隨后重新掃描。對于每一個當前詞利用吉布斯采樣公式來更新他的主題編號，重復(fù)以上步驟直到采樣收斂，最后統(tǒng)計文檔中各詞的主題，得到該文檔的主題分布。

3.根據(jù)權(quán)利要求1所述的一種融合主題的PGN-GAN文本摘要模型，其特征在于，所述步驟2包括如下步驟

步驟2.1：利用LDA方法生成主題詞后于事先設(shè)定的主題中訓(xùn)練出t_1\cdotst_k，選取前n個作為對應(yīng)文本的主題詞。

步驟2.2：利用Word2Vec模型獲得每個詞語的詞向量。

4.根據(jù)權(quán)利要求1所述的一種融合主題的PGN-GAN文本摘要模型，其特征在于，所述步驟3包括如下步驟。

步驟3.1：將主題詞表示為詞向量，普通編碼器的最終隱藏層狀態(tài)作為主題注意力層的輸入，形成的新編碼層。

步驟3.2：生成器首先將源文本作為輸入，在使用編碼器后將源文本轉(zhuǎn)變?yōu)殡[藏狀態(tài)。

步驟3.3：利用注意力機制的原理形成新的主題注意力結(jié)果，然后將序列注意力和普通注意力疊加得到輸出。

5.根據(jù)權(quán)利要求1所述的一種融合主題的PGN-GAN文本摘要模型，其特征在于，所述步驟4包括如下步驟。

步驟4.1：搭建指針網(wǎng)絡(luò)架構(gòu):包含有編碼器，attention層，解碼器

步驟4.2：搭建生成器與判別器，生成器利用已經(jīng)建立好的指針網(wǎng)絡(luò)。鑒別器區(qū)分文本是機器生成的還是真實樣本，使用LSTM網(wǎng)絡(luò)來進行特征選擇，這些特征最后經(jīng)過sigmoid函數(shù)后得到該文本是否為真實樣本的概率。

步驟4.3：對于生成器G和判別器D的訓(xùn)練，我們首先固定生成器的權(quán)重，對判別器更新權(quán)重，隨后兩方交替迭代直到生成器生成同訓(xùn)練樣本相同的分布。

6.根據(jù)權(quán)利要求1所述的一種融合主題的PGN-GAN文本摘要模型，其特征在于，所述步驟5包括如下步驟。

步驟5.1將主題向量k融入α_oj中。

步驟5.2將S4得到的最終解碼向量傳入解碼器。