[發明專利]文本生成方法及裝置

在審

• 申請號: 202211163962.X
• 申請日: 2022-09-23
• 公開（公告）號: CN115687565A
• 公開（公告）日: 2023-02-03
• 發明（設計）人: 李蘊哲;陳謙;張慶林;王雯
• 申請（專利權）人: 阿里巴巴達摩院（杭州）科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/34;G06N3/045;G06N3/0499;G06F18/22;G06F18/214;G06F18/21
• 代理公司: 北京眾達德權知識產權代理有限公司 11570
• 代理人: 袁媛

本申請實施例公開了一種文本生成方法及裝置，涉及人工智能技術領域。主要技術方案包括：獲取第一文本；將所述第一文本輸入大綱預測模型，獲取所述大綱預測模型針對所述第一文本生成的大綱作為第二文本，所述大綱預測模型基于預訓練語言模型預先訓練得到；將所述第一文本和所述第二文本輸入文本生成模型，獲取所述文本生成模型利用所述第一文本和所述第二文本生成的接續所述第一文本的第三文本，所述文本生成模型基于預訓練語言模型預先訓練得到。

技術領域

本申請涉及人工智能技術領域，特別是涉及一種文本生成方法及裝置。

背景技術

開放式文本生成(Open-Ended Text Generation)是自然語言理解和生成任務中的重要研究挑戰，在對話、故事以及評論生成等場景下有廣泛應用前景。所謂開放式文本生成是已知一個給定的文本(通常是一個句子)，目標是按照這個句子創建一個連貫的文本，使得句子能夠延續下去。

已有的開放式生成方式中普遍專注于提升生成文本的局部連貫性，而忽視了生成文本的邏輯性和前后依賴，常出現諸如內容重復、情節停滯等問題，嚴重影響了生成文本的質量。

發明內容

有鑒于此，本申請提供了一種文本生成方法及裝置，用以提升生成文本的質量。

本申請提供了如下方案：

第一方面，提供了一種文本生成方法，所述方法包括：

獲取第一文本；

將所述第一文本輸入大綱預測模型，獲取所述大綱預測模型針對所述第一文本生成的大綱作為第二文本，所述大綱預測模型基于預訓練語言模型預先訓練得到；

將所述第一文本和所述第二文本輸入文本生成模型，獲取所述文本生成模型利用所述第一文本和所述第二文本生成的接續所述第一文本的第三文本，所述文本生成模型基于預訓練語言模型預先訓練得到。

根據本申請實施例中一可實現的方式，所述大綱預測模型采用如下方式預先訓練得到：

獲取第一訓練數據，所述第一訓練數據包括多個摘要文本；

將所述摘要文本中的前N句作為大綱預測模型的輸入，所述N為預設的正整數，將所述摘要文本作為大綱預測模型的目標輸出，訓練所述大綱預測模型，所述大綱預測模型包括：采用預訓練語言模型的第一編碼器和第一解碼器；所述第一編碼器從輸入的文本中提取第一文本特征表示，所述第一解碼器用以利用所述第一文本特征表示預測得到大綱。

根據本申請實施例中一可實現的方式，所述文本生成模型采用如下方式預先訓練得到：

獲取第二訓練數據，所述第二訓練數據包括多個文章樣本以及各文章樣本的摘要文本；

將文章樣本的前N句以及文章樣本的摘要文本作為文本生成模型的輸入，所述N為預設的正整數，將文章樣本作為文本生成模型的目標輸出，訓練所述文本預測模型，所述文本預測模型包括：采用預訓練語言模型的第二編碼器和第二解碼器；所述第二編碼器從輸入的文本中提取第二文本特征表示，所述第二編碼器用以利用第二文本特征表示生成接續所述文章樣本的前N句的第三文本。

根據本申請實施例中一可實現的方式，訓練所述文本預測模型采用的訓練目標包括第一訓練目標和第二訓練目標；

所述第一訓練目標為最小化所述文本生成模型生成的第三文本與對應文章樣本之間的差異；

所述第二訓練目標為：最小化所述文本生成模型生成的第三文本中距離小于或等于第一預設距離的語句之間的相似度，最大化所述文本生成模型輸出的第三文本中距離大于或等于第二預設距離的語句之間的相似度，所述第一預設距離小于所述第二預設距離。