[發(fā)明專利]一種文本生成方法、裝置、計(jì)算機(jī)設(shè)備和存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010917818.5
• 申請(qǐng)日: 2020-09-03
• 公開(kāi)（公告）號(hào): CN112000777A
• 公開(kāi)（公告）日: 2020-11-27
• 發(fā)明（設(shè)計(jì)）人: 張強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 上海然慧信息科技有限公司
• 主分類號(hào): G06F16/33
• 分類號(hào): G06F16/33;G06F16/34;G06F16/35;G06F40/284
• 代理公司: 北京專贏專利代理有限公司 11797
• 代理人: 李斌

1.一種文本生成方法，其特征在于，包括：

獲取文本類型以及多個(gè)文本關(guān)鍵詞；

根據(jù)所述文本類型、所述多個(gè)文本關(guān)鍵詞以及文本生成模型生成文本；所述文本生成模型是基于老師文本生成模型的輸入與輸出以及預(yù)設(shè)的詞語(yǔ)相對(duì)于文本類型的重要度訓(xùn)練生成的；所述老師文本生成模型是預(yù)先基于transformer算法的自回歸解碼器模型訓(xùn)練生成的；所述自回歸解碼器模型的嵌入向量部分引入了詞語(yǔ)類型分類信息。

2.根據(jù)權(quán)利要求1所述的文本生成方法，其特征在于，在所述根據(jù)所述文本類型、所述多個(gè)文本關(guān)鍵詞以及文本生成模型生成文本的步驟之后，還包括：

根據(jù)預(yù)設(shè)的專有名詞識(shí)別模型對(duì)所述文本進(jìn)行專有名詞識(shí)別；所述專有名詞包括人名、地名以及機(jī)構(gòu)名；

按照預(yù)設(shè)的替換規(guī)則對(duì)識(shí)別出的所述專有名詞進(jìn)行替換，生成專有名詞替換后的文本。

3.根據(jù)權(quán)利要求1所述的文本生成方法，其特征在于，所述根據(jù)所述文本類型、所述多個(gè)文本關(guān)鍵詞以及文本生成模型生成文本的步驟，具體包括：

確定當(dāng)前輸入詞；

根據(jù)所述多個(gè)文本關(guān)鍵詞、所述當(dāng)前輸入詞以及所述文本生成模型確定多個(gè)下位可能生成詞；

計(jì)算所述多個(gè)下位可能生成詞的詞語(yǔ)類型分類信息與所述文本類型之間的關(guān)聯(lián)度；

根據(jù)所述關(guān)聯(lián)度確定下位生成詞；

根據(jù)所述下位生成詞生成文本。

4.根據(jù)權(quán)利要求3所述的文本生成方法，其特征在于，所述根據(jù)所述下位生成詞生成文本的步驟，具體為：

判斷所述下位生成詞是否為預(yù)設(shè)的結(jié)尾語(yǔ)；

當(dāng)判斷下位生成詞不是預(yù)設(shè)的結(jié)尾語(yǔ)時(shí)，將所述下位生成詞確定為當(dāng)前輸入詞，并返回至所述根據(jù)所述多個(gè)文本關(guān)鍵詞、所述當(dāng)前輸入詞以及所述文本生成模型確定多個(gè)下位可能生成詞的步驟；

當(dāng)判斷下位生成詞是預(yù)設(shè)的結(jié)尾語(yǔ)時(shí)，生成文本。

5.根據(jù)權(quán)利要求3所述的文本生成方法，其特征在于，在根據(jù)所述關(guān)聯(lián)度確定下位生成詞的步驟之前，還包括：

根據(jù)預(yù)設(shè)的通順度計(jì)算模型計(jì)算所述多個(gè)下位可能生成詞的通順度；

所述根據(jù)所述關(guān)聯(lián)度確定下位生成詞的步驟，具體為：

根據(jù)所述通順度以及所述關(guān)聯(lián)度確定下位生成詞。

6.根據(jù)權(quán)利要求1所述的文本生成方法，其特征在于，訓(xùn)練生成所述文本生成模型的步驟，具體包括：

構(gòu)建初始化的自回歸解碼器模型；

將預(yù)先給定的訓(xùn)練文本輸入至自回歸解碼器模型內(nèi)進(jìn)行訓(xùn)練生成老師文本生成模型；

構(gòu)建初始化的學(xué)生文本生成模型；所述學(xué)生文本生成模型的參數(shù)少于所述老師文本生成模型的參數(shù)；

根據(jù)所述老師文本生成模型輸入與輸出的對(duì)應(yīng)關(guān)系以及詞語(yǔ)相對(duì)于詞語(yǔ)類型分類的重要度對(duì)所述學(xué)生文本生成模型訓(xùn)練，生成文本生成模型。

7.根據(jù)權(quán)利要求6所述的文本生成方法，其特征在于，所述將預(yù)先給定的訓(xùn)練文本輸入至自回歸解碼器模型內(nèi)進(jìn)行訓(xùn)練生成老師文本生成模型的步驟，具體包括：

確定預(yù)先給定的訓(xùn)練文本中各詞語(yǔ)的詞特征向量；所述詞特征向量包含了詞語(yǔ)的詞義信息、內(nèi)部位置信息以及類型分類信息；

確定當(dāng)前輸入詞；

根據(jù)自回歸解碼器模型對(duì)所述當(dāng)前輸入詞的詞特征向量進(jìn)行處理，生成下位詞語(yǔ)的預(yù)測(cè)輸出向量；

根據(jù)真實(shí)下位詞語(yǔ)的詞特征向量與所述預(yù)測(cè)輸出向量的差異更新所述自回歸解碼器模型；

判斷是否滿足預(yù)設(shè)的訓(xùn)練完成條件；

當(dāng)判斷沒(méi)有滿足預(yù)設(shè)的訓(xùn)練完成條件時(shí)，將真實(shí)下位詞語(yǔ)確定為當(dāng)前輸入詞，并返回至所述根據(jù)自回歸解碼器模型對(duì)所述當(dāng)前輸入詞的詞特征向量進(jìn)行處理，生成下位詞語(yǔ)的預(yù)測(cè)輸出向量的步驟；

當(dāng)判斷滿足預(yù)設(shè)的訓(xùn)練完成條件時(shí)，將當(dāng)前自回歸解碼器模型確定為老師文本生成模型。