[發(fā)明專利]一種基于神經(jīng)主題模型的長(zhǎng)文本生成方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201910542965.6
• 申請(qǐng)日: 2019-06-21
• 公開(kāi)（公告）號(hào): CN110457483B
• 公開(kāi)（公告）日: 2022-02-18
• 發(fā)明（設(shè)計(jì)）人: 潘博遠(yuǎn);蔡登;趙洲
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06F16/36
• 分類號(hào): G06F16/36;G06F16/33;G06F40/216;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識(shí)產(chǎn)權(quán)代理有限公司 33224
• 代理人: 胡紅娟

1.一種基于神經(jīng)主題模型的長(zhǎng)文本生成方法，其特征在于，包括：

(1)利用長(zhǎng)文本訓(xùn)練集對(duì)神經(jīng)主題模型進(jìn)行訓(xùn)練，每篇文章分解為一個(gè)對(duì)應(yīng)的低維主題分布和一個(gè)公用的解碼器；

(2)使用步驟(1)中的低維主題分布作為標(biāo)簽訓(xùn)練一個(gè)多層感知機(jī)，使用訓(xùn)練完的多層感知機(jī)將短文本映射到主題分布；

(3)使用步驟(1)得到的解碼器對(duì)步驟(2)中得到的主題分布解碼，得到高維的詞分布；

(4)訓(xùn)練一個(gè)語(yǔ)言模型，以短文本作為初始輸入，從步驟(3)得到的詞分布中采樣出主題詞；

(5)將短文本與步驟(4)中得到的主題詞合并，輸入一個(gè)通用的文本生成模型框架，輸出長(zhǎng)文本。

2.根據(jù)權(quán)利要求1所述的基于神經(jīng)主題模型的長(zhǎng)文本生成方法，其特征在于，步驟(1)中，使用變分推斷模型作為神經(jīng)主題模型的框架。

3.根據(jù)權(quán)利要求1所述的基于神經(jīng)主題模型的長(zhǎng)文本生成方法，其特征在于，步驟(2)中，將短文本映射到主題分布之前，先使用Glove進(jìn)行詞向量嵌入。

4.根據(jù)權(quán)利要求1所述的基于神經(jīng)主題模型的長(zhǎng)文本生成方法，其特征在于，步驟(3)中，訓(xùn)練過(guò)程中使用的詞分布為真實(shí)數(shù)據(jù)詞分布，測(cè)試過(guò)程中使用的是計(jì)算后的預(yù)估詞分布。

5.根據(jù)權(quán)利要求1所述的基于神經(jīng)主題模型的長(zhǎng)文本生成方法，其特征在于，步驟(4)中，所述的語(yǔ)言模型在長(zhǎng)文本數(shù)據(jù)集上訓(xùn)練，并且該語(yǔ)言模型為單向前置型語(yǔ)言模型。

6.根據(jù)權(quán)利要求1所述的基于神經(jīng)主題模型的長(zhǎng)文本生成方法，其特征在于，步驟(5)中，在輸入文本生成框架之前，使用詞向量Glove對(duì)合并后的文本進(jìn)行詞向量嵌入。

7.根據(jù)權(quán)利要求1所述的基于神經(jīng)主題模型的長(zhǎng)文本生成方法，其特征在于，步驟(5)中，使用通用的文本生成模型框架Transformer來(lái)進(jìn)行長(zhǎng)文本生成。