[發(fā)明專利]文本生成模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202310012566.5
• 申請(qǐng)日: 2023-01-05
• 公開（公告）號(hào): CN116011445A
• 公開（公告）日: 2023-04-25
• 發(fā)明（設(shè)計(jì)）人: 伍星;高超塵;林梓佳
• 申請(qǐng)（專利權(quán)）人: 北京達(dá)佳互聯(lián)信息技術(shù)有限公司
• 主分類號(hào): G06F40/284
• 分類號(hào): G06F40/284;G06F18/214;G06N3/0455;G06N3/04;G06N3/084
• 代理公司: 北京潤(rùn)澤恒知識(shí)產(chǎn)權(quán)代理有限公司 11319
• 代理人: 李娜

本公開關(guān)于一種文本生成模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，該方法包括：對(duì)文本樣本中連續(xù)的至少兩個(gè)詞進(jìn)行掩碼操作，得到包括掩碼片段的掩碼文本；根據(jù)文本樣本和掩碼文本，對(duì)自然語(yǔ)言理解模型進(jìn)行訓(xùn)練；將掩碼文本輸入訓(xùn)練完成的自然語(yǔ)言理解模型，得到針對(duì)掩碼片段的第一輸出結(jié)果，并將掩碼文本輸入文本生成模型，得到針對(duì)掩碼片段的第二輸出結(jié)果；根據(jù)第二輸出結(jié)果和第一輸出結(jié)果，確定文本生成模型的第一損失函數(shù)值，根據(jù)第二輸出結(jié)果和文本樣本，確定文本生成模型的第二損失函數(shù)值；根據(jù)第一損失函數(shù)值和第二損失函數(shù)值，對(duì)文本生成模型的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，獲得預(yù)訓(xùn)練完成的文本生成模型。本公開可以提高文本生成結(jié)果的準(zhǔn)確性。

技術(shù)領(lǐng)域

本公開涉及自然語(yǔ)言處理技術(shù)領(lǐng)域，尤其涉及一種文本生成模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

隨著互聯(lián)網(wǎng)的發(fā)展，各種不同形式在不同場(chǎng)景下的任務(wù)需求不斷被提出，但是基于監(jiān)督訓(xùn)練的模型效果非常依賴于大規(guī)模的標(biāo)注數(shù)據(jù)，成本則是居高不下。BERT(Bidirectional?Encoder?Representations?from?Transformer，基于Transformer的雙向編碼器表征)之類預(yù)訓(xùn)練模型的提出解決了以上的問(wèn)題，模型只需要在大規(guī)模無(wú)標(biāo)注數(shù)據(jù)上進(jìn)行自監(jiān)督的預(yù)訓(xùn)練，然后在下游具體任務(wù)中使用少量帶有標(biāo)簽的數(shù)據(jù)進(jìn)行微調(diào)，就可以輕易達(dá)到最佳的模型效果。文本生成預(yù)訓(xùn)練作為一個(gè)重要的分支，在文本摘要、翻譯、轉(zhuǎn)述等生成任務(wù)上發(fā)揮了不可替代的作用。

BART模型(是用來(lái)預(yù)訓(xùn)練序列到序列模型的降噪自動(dòng)編碼器)是最開始探索文本生成預(yù)訓(xùn)練的方案，其主要過(guò)程是對(duì)原始文本添加不同的噪聲，然后使用序列到序列模型將帶有噪聲的文本進(jìn)行去噪，還原為原始文本。但是，在訓(xùn)練過(guò)程中，學(xué)習(xí)的過(guò)程主要依賴于極大似然估計(jì)(Maximum?Likelihood?Estimation，MLE)，導(dǎo)致預(yù)測(cè)得到的詞表分布中只有命中的詞概率為1，其余的負(fù)例概率均為0，表現(xiàn)為負(fù)多樣性無(wú)知，也就是文本生成結(jié)果準(zhǔn)確性較低。

發(fā)明內(nèi)容

本公開提供一種文本生成模型的訓(xùn)練方法、裝置、電子設(shè)備及存儲(chǔ)介質(zhì)，以至少解決相關(guān)技術(shù)中文本生成結(jié)果準(zhǔn)確性低的問(wèn)題。本公開的技術(shù)方案如下：

根據(jù)本公開實(shí)施例的第一方面，提供一種文本生成模型的訓(xùn)練方法，包括：

對(duì)文本樣本中連續(xù)的至少兩個(gè)詞進(jìn)行掩碼操作，得到包括掩碼片段的掩碼文本；

根據(jù)所述文本樣本和所述掩碼文本，對(duì)自然語(yǔ)言理解模型進(jìn)行訓(xùn)練，得到訓(xùn)練完成的自然語(yǔ)言理解模型，所述自然語(yǔ)言理解模型的架構(gòu)為編碼器架構(gòu)，所述訓(xùn)練完成的自然語(yǔ)言理解模型用于指導(dǎo)文本生成模型的訓(xùn)練；

將所述掩碼文本輸入所述訓(xùn)練完成的自然語(yǔ)言理解模型進(jìn)行所述掩碼片段的詞表概率分布預(yù)測(cè)處理，得到針對(duì)所述掩碼片段的第一輸出結(jié)果，并將所述掩碼文本輸入所述文本生成模型進(jìn)行所述掩碼片段的詞表概率分布預(yù)測(cè)處理，得到針對(duì)所述掩碼片段的第二輸出結(jié)果，所述文本生成模型的架構(gòu)為編碼器解碼器架構(gòu)；

根據(jù)所述第二輸出結(jié)果和所述第一輸出結(jié)果，確定所述文本生成模型的第一損失函數(shù)值，并根據(jù)所述第二輸出結(jié)果和所述文本樣本，確定所述文本生成模型的第二損失函數(shù)值；

根據(jù)所述第一損失函數(shù)值和所述第二損失函數(shù)值，對(duì)所述文本生成模型的網(wǎng)絡(luò)參數(shù)進(jìn)行調(diào)整，獲得預(yù)訓(xùn)練完成的文本生成模型。

可選的，所述對(duì)文本樣本中連續(xù)的至少兩個(gè)詞進(jìn)行掩碼操作，得到包括掩碼片段的掩碼文本，包括：

針對(duì)所述文本樣本，在預(yù)設(shè)詞數(shù)量范圍內(nèi)進(jìn)行數(shù)值采樣，得到待進(jìn)行掩碼操作的詞數(shù)量；

對(duì)所述文本樣本中連續(xù)的所述詞數(shù)量的詞進(jìn)行掩碼操作，得到包括掩碼片段的掩碼文本。

可選的，所述掩碼片段包括占位符；

所述對(duì)文本樣本中連續(xù)的至少兩個(gè)詞進(jìn)行掩碼操作，得到包括掩碼片段的掩碼文本，包括：