[發明專利]一種文本生成方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010917818.5
• 申請日: 2020-09-03
• 公開（公告）號: CN112000777A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 張強
• 申請（專利權）人: 上海然慧信息科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/34;G06F16/35;G06F40/284
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 李斌

本發明適用于計算機技術領域，提供了一種文本生成方法、裝置、計算機設備和存儲介質，其中方法包括：獲取文本類型以及關鍵詞；根據文本類型、關鍵詞以及文本生成模型生成文本；文本生成模型是基于老師文本生成模型的輸入與輸出訓練生成的；老師文本生成模型是利用自回歸解碼器模型訓練生成的；自回歸解碼器模型的嵌入向量部分引入了詞語類型分類信息。本發明提供的文本生成方法，在編碼器模型部分引入了詞語類型分類信息，使得每個詞都有既定的類別作為先驗知識，通過分類器的結果反向傳播給模型的輸入，再放入文本生成模型中學習，是每個詞語不僅有了上下文含義，還有了本身屬性特征，使得最終生成的文本生成模型有了“定向生成文本”的能力。

技術領域

本發明屬于計算機技術領域，尤其涉及一種文本生成方法、裝置、計算機設備和存儲介質。

背景技術

隨著機器學習的發展，越來越多的領域都應用了機器學習算法。

目前，在文本生成領域最前沿的機制是基于transformer的。它是將文本處理成基于字或者詞的文本序列，通過復雜的神經網絡去訓練學習下一個詞出現的概率，使得AI能學習到文本本身的書寫規律。然而，它需要學習的參數較為龐大、訓練成本較高的，并且在指定領域和關鍵詞后，無法定向的生成我們需要對文本，給商業化、工程化帶來了一定的難度。

可見，現有的文本生成技術還存在著參數龐大、成本高、無法定向生成需求內容的技術問題。

發明內容

本發明實施例的目的在于提供一種文本生成方法，旨在解決現有的文本生成技術還存在著參數龐大、成本高、無法定向生成需求內容的技術問題。

本發明實施例是這樣實現的，一種文本生成方法，包括：

獲取文本類型以及多個文本關鍵詞；

根據所述文本類型、所述多個文本關鍵詞以及文本生成模型生成文本；所述文本生成模型是基于老師文本生成模型的輸入與輸出以及預設的詞語相對于文本類型的重要度訓練生成的；所述老師文本生成模型是預先基于transformer算法的自回歸解碼器模型訓練生成的；所述自回歸解碼器模型的嵌入向量部分引入了詞語類型分類信息。

本發明實施例的另一目的在于提供一種文本生成裝置，包括：

文本類型與關鍵詞獲取單元，用于獲取文本類型以及多個文本關鍵詞；

文本生成單元，用于根據所述文本類型、所述多個文本關鍵詞以及文本生成模型生成文本；所述文本生成模型是基于老師文本生成模型的輸入與輸出以及預設的詞語相對于文本類型的重要度訓練生成的；所述老師文本生成模型是預先基于transformer算法的自回歸解碼器模型訓練生成的；所述自回歸解碼器模型的嵌入向量部分引入了詞語類型分類信息。

本發明實施例的另一目的在于提供一種計算機設備，包括存儲器和處理器，所述存儲器中存儲有計算機程序，所述計算機程序被所述處理器執行時，使得所述處理器執行如上述所述文本生成方法的步驟。

本發明實施例的另一目的在于提供一種計算機可讀存儲介質，所述計算機可讀存儲介質上存儲有計算機程序，所述計算機程序被處理器執行時，使得所述處理器執行如上述所述文本生成方法的步驟。