[發明專利]一種基于骨架的二階段數據到文本生成方法

有效

• 申請號: 202010931906.0
• 申請日: 2020-09-08
• 公開（公告）號: CN112069777B
• 公開（公告）日: 2022-09-30
• 發明（設計）人: 劉瓊昕;王鵬;王佳升;盧士帥
• 申請（專利權）人: 北京理工大學
• 主分類號: G06F40/166
• 分類號: G06F40/166;G06F40/284;G06F40/126;G06F40/216;G06N3/08
• 代理公司: 北京正陽理工知識產權代理事務所(普通合伙) 11639
• 代理人: 王民盛

本發明涉及一種基于骨架的二階段數據到文本生成方法，屬于人工智能與自然語言生成技術領域。所述方法將數據到文本生成劃分為骨架構建和文本生成兩個階段。首先，本方法提出一種基于結構化Transformer的骨架構建模型SCST來構建數據的文本骨架；然后，將文本骨架嵌入到本方法提出的基于骨架的非自回歸文本生成模型SNAM中，利用插入與刪除操作逐步生成文本。該方法能較好地發掘人物傳記類新聞之間的知識關聯，在BLEU及ROUGE指標上顯著優于傳統模型。

技術領域

本發明涉及一種數據到文本生成方法，具體涉及一種基于骨架的二階段數據到文本生成方法，屬于人工智能與自然語言生成技術領域。

背景技術

隨著人工智能的不斷發展，人們開始寄希望于機器能夠具備像人一樣的寫作能力，從而輔助人類進行寫作甚至替代人類寫作，進一步提高數據到文本的轉換速度。機器智能寫作的核心是自然語言生成技術，而數據到文本生成是自然語言生成領域的典型技術，是實現機器自動寫作的關鍵技術之一。數據到文本生成指的是基于結構化數據生成一段恰當而流暢的描述性文本，它在天氣預報、體育新聞報道、人物傳記生成等場景上都有著重要的應用價值。

數據到文本生成一般可歸結內容選擇(Content Selection)和表層實現(SurfaceRealization)兩個任務，內容選擇指的是從輸入中選擇合適的內容進行表達，表層實現指的是使用合適的文本來描述所選擇的內容。最早期的方法依賴于領域專家的知識，通過制定多條規則來實現上述任務，然而這種方法十分的費時費力，而且在一個領域中制定的規則難以直接應用在其它領域，因此它的泛化能力較差。

隨著深度學習技術的發展，基于深度學習的數據到文本生成方法成為了目前研究的重點。Lebret等人在2016年發布了新的人物傳記數據集WikiBio，并提出一個基于神經語言模型的方法，該方法配備了拷貝機制，在生成時可以直接從輸入數據拷貝相應文本，論文中的實驗結果表明基于神經語言模型的方法要遠勝于基于統計語言模型的方法。Mei等人在2016年提出了一個基于長短時記憶網絡的自回歸模型，其中加入了一個粗粒度到細粒度的對齊器(Aligner)，用于識別輸入里比較重要的數據庫條目，解碼器基于這些條目逐步生成文本，該方法在天氣預報生成上取得了令人驚艷的效果。Liu等人在2018年提出了結構化的生成模型，在編碼時將屬性名信息嵌入到LSTM的細胞狀態中(Cell State)，使得屬性名信息可以直接影響屬性值的編碼過程，并在解碼時引入對偶注意力機制整合屬性名和屬性值信息，該模型在WikiBio數據集上取得了突出的成果。

上述的數據到文本生成方法主要使用序列到序列的自回歸模型，雖然這些方法可以為結構化數據生成較為流暢的文本，但它們仍然存在著兩個方面的問題：第一，缺乏對文本的規劃，生成的文本中常常會遺漏一些輸入數據里的關鍵信息。第二，自回歸模型容易產生“幻覺”，生成不符合輸入數據的文本。本發明的目的是致力于解決上述數據到文本生成方法的技術缺陷，提出一種基于骨架的二階段數據到文本生成方法。

發明內容

本發明的目的是為了解決現有的基于自回歸模型的數據到文本生成方法對文本規劃不足以及容易產生“幻覺”問題，提出一種基于骨架的二階段數據到文本生成方法，將數據到文本生成分為骨架構建與文本生成兩個階段，骨架構建階段由一種基于結構化Transformer的骨架構建模型實現，文本生成階段由一種基于骨架的非自回歸文本生成模型實現。

本發明采用的技術實現方案如下：

(1)在骨架構建階段，提出一種基于結構化transformer的骨架構建模型，該模型利用輸入數據間的結構信息構造文本的骨架；

(2)在文本生成階段，提出一種基于骨架的非自回歸文本生成模型，該模型利用骨架信息，生成邏輯性強且信息豐富的文本；

所述基于骨架的二階段數據到文本生成方法，包括以下步驟：

步驟1，基于無骨架數據集構建骨架數據集，并對其進行劃分，生成骨架訓練集和骨架測試集，具體為：