[發明專利]一種基于神經主題模型的長文本生成方法

有效

• 申請號: 201910542965.6
• 申請日: 2019-06-21
• 公開（公告）號: CN110457483B
• 公開（公告）日: 2022-02-18
• 發明（設計）人: 潘博遠;蔡登;趙洲
• 申請（專利權）人: 浙江大學
• 主分類號: G06F16/36
• 分類號: G06F16/36;G06F16/33;G06F40/216;G06F40/30;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 胡紅娟

本發明公開了一種基于神經主題模型的長文本生成方法，包括：(1)利用長文本訓練集對神經主題模型進行訓練，每篇文章分解為一個對應的低維主題分布和一個公用的解碼器；(2)使用步驟(1)中的低維主題分布作為標簽訓練一個多層感知機，使用訓練完的多層感知機將短文本映射到主題分布；(3)使用步驟(1)得到的解碼器對步驟(2)中得到的主題分布解碼，得到高維的詞分布；(4)訓練一個語言模型，以短文本作為初始輸入，從步驟(3)得到的詞分布中采樣出一定數量的主題詞；(5)將短文本與步驟(4)中得到的主題詞合并，輸入一個通用的文本生成模型框架，輸出長文本。利用本發明，大大提升了在大規模數據集上進行長文本生成的質量。

技術領域

本發明屬于自然語言處理領域，尤其是一種基于神經主題模型的長文本生成方法。

背景技術

長文本生成任務是自然語言處理中最為重要和棘手的問題之一。與大部分生成式任務不同(例如機器翻譯，文本摘要)，長文本生成任務對模型輸入的要求是一個遠遠短于輸出的短文本甚至是一個單詞，這對內容生成和選擇有著更高的要求。一個高效的長文本生成模型可以在以語義理解為基礎的眾多領域得到廣泛應用，如自動新聞生成，教育系統和只能對話機器人等。

長文本生成，尤其是以一個極短的文本作為輸入的生成任務近年來被廣泛研究。比如2018年發表在國際頂級自然語言處理會議Annual Meeting of the Association forComputational Linguistics上的《Hierarchical neural story generation》在第2頁到第4頁公布了一種稱為Fusion Model的融合卷積序列模型和自注意力模型的算法；2019年發表在國際頂級自然語言處理會議Association for the Advance of ArtificialIntelligence上的《Plan-and-write:Towards better automatic storytelling》在第2頁到第3頁公布了一種先生成文本框架再基于文本框架來生成文章的方法。對話生成任務也有相關的工作，如2017年發表在國際頂級計算神經理論會議Conference of the NorthAmerican Chapter of the Association for Computational Linguistics上的《Plan,write,and revise:an interactive system for open-domain story generation》在第2頁到第3頁公布了一種運用人機交互來增強故事敘述能力的模型。

之前的工作都是基于人機交互或者僅僅根據極少數幾個關鍵詞來生成長文本，這使得模型的成本十分高昂或者模型的先驗知識不足，難以在內容選擇上有較好的效果。

發明內容

本發明提供了一種基于神經主題模型的長文本生成方法，通過將短文本映射到低維主題分布上再解碼成為主題詞來補充輸入端的知識，大大提升了在大規模數據集上給定短文本生成長文本的質量。

本發明的技術方案如下：

一種基于神經主題模型的長文本生成方法，包括：

(1)利用長文本訓練集對神經主題模型進行訓練，每篇文章分解為一個對應的低維主題分布和一個公用的解碼器；

(2)使用步驟(1)中的低維主題分布作為標簽訓練一個多層感知機，使用訓練完的多層感知機將短文本映射到主題分布；

(3)使用步驟(1)得到的解碼器對步驟(2)中得到的主題分布解碼，得到高維的詞分布；

(4)訓練一個語言模型，以短文本作為初始輸入，從步驟(3)得到的詞分布中采樣出一定數量的主題詞；

(5)將短文本與步驟(4)中得到的主題詞合并，輸入一個通用的文本生成模型框架，輸出長文本。