[發明專利]一種文本生成方法、裝置、計算機設備和存儲介質

在審

• 申請號: 202010917818.5
• 申請日: 2020-09-03
• 公開（公告）號: CN112000777A
• 公開（公告）日: 2020-11-27
• 發明（設計）人: 張強
• 申請（專利權）人: 上海然慧信息科技有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;G06F16/34;G06F16/35;G06F40/284
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 李斌

1.一種文本生成方法，其特征在于，包括：

獲取文本類型以及多個文本關鍵詞；

根據所述文本類型、所述多個文本關鍵詞以及文本生成模型生成文本；所述文本生成模型是基于老師文本生成模型的輸入與輸出以及預設的詞語相對于文本類型的重要度訓練生成的；所述老師文本生成模型是預先基于transformer算法的自回歸解碼器模型訓練生成的；所述自回歸解碼器模型的嵌入向量部分引入了詞語類型分類信息。

2.根據權利要求1所述的文本生成方法，其特征在于，在所述根據所述文本類型、所述多個文本關鍵詞以及文本生成模型生成文本的步驟之后，還包括：

根據預設的專有名詞識別模型對所述文本進行專有名詞識別；所述專有名詞包括人名、地名以及機構名；

按照預設的替換規則對識別出的所述專有名詞進行替換，生成專有名詞替換后的文本。

3.根據權利要求1所述的文本生成方法，其特征在于，所述根據所述文本類型、所述多個文本關鍵詞以及文本生成模型生成文本的步驟，具體包括：

確定當前輸入詞；

根據所述多個文本關鍵詞、所述當前輸入詞以及所述文本生成模型確定多個下位可能生成詞；

計算所述多個下位可能生成詞的詞語類型分類信息與所述文本類型之間的關聯度；

根據所述關聯度確定下位生成詞；

根據所述下位生成詞生成文本。

4.根據權利要求3所述的文本生成方法，其特征在于，所述根據所述下位生成詞生成文本的步驟，具體為：

判斷所述下位生成詞是否為預設的結尾語；

當判斷下位生成詞不是預設的結尾語時，將所述下位生成詞確定為當前輸入詞，并返回至所述根據所述多個文本關鍵詞、所述當前輸入詞以及所述文本生成模型確定多個下位可能生成詞的步驟；

當判斷下位生成詞是預設的結尾語時，生成文本。

5.根據權利要求3所述的文本生成方法，其特征在于，在根據所述關聯度確定下位生成詞的步驟之前，還包括：

根據預設的通順度計算模型計算所述多個下位可能生成詞的通順度；

所述根據所述關聯度確定下位生成詞的步驟，具體為：

根據所述通順度以及所述關聯度確定下位生成詞。

6.根據權利要求1所述的文本生成方法，其特征在于，訓練生成所述文本生成模型的步驟，具體包括：

構建初始化的自回歸解碼器模型；

將預先給定的訓練文本輸入至自回歸解碼器模型內進行訓練生成老師文本生成模型；

構建初始化的學生文本生成模型；所述學生文本生成模型的參數少于所述老師文本生成模型的參數；

根據所述老師文本生成模型輸入與輸出的對應關系以及詞語相對于詞語類型分類的重要度對所述學生文本生成模型訓練，生成文本生成模型。

7.根據權利要求6所述的文本生成方法，其特征在于，所述將預先給定的訓練文本輸入至自回歸解碼器模型內進行訓練生成老師文本生成模型的步驟，具體包括：

確定預先給定的訓練文本中各詞語的詞特征向量；所述詞特征向量包含了詞語的詞義信息、內部位置信息以及類型分類信息；

確定當前輸入詞；

根據自回歸解碼器模型對所述當前輸入詞的詞特征向量進行處理，生成下位詞語的預測輸出向量；

根據真實下位詞語的詞特征向量與所述預測輸出向量的差異更新所述自回歸解碼器模型；

判斷是否滿足預設的訓練完成條件；

當判斷沒有滿足預設的訓練完成條件時，將真實下位詞語確定為當前輸入詞，并返回至所述根據自回歸解碼器模型對所述當前輸入詞的詞特征向量進行處理，生成下位詞語的預測輸出向量的步驟；

當判斷滿足預設的訓練完成條件時，將當前自回歸解碼器模型確定為老師文本生成模型。