[發(fā)明專利]文本生成模型的訓(xùn)練方法、裝置及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202010470844.8
• 申請(qǐng)日: 2020-05-28
• 公開(kāi)（公告）號(hào): CN111709248B
• 公開(kāi)（公告）日: 2023-07-11
• 發(fā)明（設(shè)計(jì)）人: 李偉;肖欣延;吳華;王海峰
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/30
• 分類號(hào): G06F40/30;G06F40/205;G06F40/289;G06F18/214
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

本申請(qǐng)公開(kāi)了一種文本生成模型的訓(xùn)練方法、裝置及電子設(shè)備，涉及自然語(yǔ)言處理技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：獲取第一樣本數(shù)據(jù)集，其中，第一樣本數(shù)據(jù)集中包括多個(gè)第一樣本數(shù)據(jù)；對(duì)多個(gè)第一樣本數(shù)據(jù)分別進(jìn)行結(jié)構(gòu)化信息提取，以生成多個(gè)第一樣本數(shù)據(jù)分別對(duì)應(yīng)的目標(biāo)結(jié)構(gòu)化信息；將多個(gè)第一樣本數(shù)據(jù)輸入至初始文本生成模型，以生成多個(gè)第一樣本數(shù)據(jù)分別對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)化信息；根據(jù)多個(gè)第一樣本數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)化信息與對(duì)應(yīng)的目標(biāo)結(jié)構(gòu)化信息的差異，生成第一損失值；根據(jù)第一損失值對(duì)初始文本生成模型進(jìn)行短語(yǔ)生成能力訓(xùn)練，以生成文本生成模型。由此，通過(guò)這種文本生成模型的訓(xùn)練方法，解決了局部語(yǔ)義偏移的問(wèn)題，提升了文本生成的準(zhǔn)確度。

技術(shù)領(lǐng)域

本申請(qǐng)涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及自然語(yǔ)言技術(shù)領(lǐng)域，提出一種文本生成模型的訓(xùn)練方法、裝置及電子設(shè)備。

背景技術(shù)

相關(guān)技術(shù)中，基于深度學(xué)習(xí)的文本生成方法均基于字生成，即逐字生成目標(biāo)文本。

但是，由于基于字生成的文本生成模型僅基于字之間的依賴關(guān)系生成文本信息，容易出現(xiàn)局部語(yǔ)義偏移現(xiàn)象，導(dǎo)致文本生成模型的準(zhǔn)確度較低，生成的文本質(zhì)量差。

發(fā)明內(nèi)容

本申請(qǐng)?zhí)峁┝艘环N用于文本生成模型訓(xùn)練的方法、裝置、電子設(shè)備、存儲(chǔ)介質(zhì)以及計(jì)算機(jī)程序產(chǎn)品。

根據(jù)本申請(qǐng)的一方面，提供了一種文本生成模型的訓(xùn)練方法，包括：獲取第一樣本數(shù)據(jù)集，其中，所述第一樣本數(shù)據(jù)集中包括多個(gè)第一樣本數(shù)據(jù)；對(duì)多個(gè)所述第一樣本數(shù)據(jù)分別進(jìn)行結(jié)構(gòu)化信息提取，以生成所述多個(gè)第一樣本數(shù)據(jù)分別對(duì)應(yīng)的目標(biāo)結(jié)構(gòu)化信息；將所述多個(gè)第一樣本數(shù)據(jù)輸入至初始文本生成模型，以生成所述多個(gè)第一樣本數(shù)據(jù)分別對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)化信息；根據(jù)所述多個(gè)第一樣本數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)化信息與對(duì)應(yīng)的所述目標(biāo)結(jié)構(gòu)化信息的差異，生成第一損失值；以及根據(jù)所述第一損失值對(duì)所述初始文本生成模型進(jìn)行短語(yǔ)生成能力訓(xùn)練，以生成文本生成模型。

根據(jù)本申請(qǐng)的另一方面，提供了一種文本生成模型的訓(xùn)練裝置，包括：第一獲取模塊，用于獲取第一樣本數(shù)據(jù)集，其中，所述第一樣本數(shù)據(jù)集中包括多個(gè)第一樣本數(shù)據(jù)；第一生成模塊，用于對(duì)多個(gè)所述第一樣本數(shù)據(jù)分別進(jìn)行結(jié)構(gòu)化信息提取，以生成所述多個(gè)第一樣本數(shù)據(jù)分別對(duì)應(yīng)的目標(biāo)結(jié)構(gòu)化信息；第二生成模塊，用于將所述多個(gè)第一樣本數(shù)據(jù)輸入至初始文本生成模型，以生成所述多個(gè)第一樣本數(shù)據(jù)分別對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)化信息；第三生成模塊，用于根據(jù)所述多個(gè)第一樣本數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)化信息與對(duì)應(yīng)的所述目標(biāo)結(jié)構(gòu)化信息的差異，生成第一損失值；以及第一訓(xùn)練模塊，用于根據(jù)所述第一損失值對(duì)所述初始文本生成模型進(jìn)行短語(yǔ)生成能力訓(xùn)練，以生成文本生成模型。

根據(jù)本申請(qǐng)的再一方面，提供了一種電子設(shè)備，包括：至少一個(gè)處理器；以及與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行如前所述的文本生成模型的訓(xùn)練方法。

根據(jù)本申請(qǐng)的再一方面，提供了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其中，所述計(jì)算機(jī)指令用于使所述計(jì)算機(jī)執(zhí)行如前所述的文本生成模型的訓(xùn)練方法。

根據(jù)本申請(qǐng)的又一方面，提供了一種計(jì)算機(jī)程序產(chǎn)品，包括計(jì)算機(jī)程序，所述計(jì)算機(jī)程序在被處理器執(zhí)行時(shí)實(shí)現(xiàn)如前所述的文本生成模型的訓(xùn)練方法。

根據(jù)本申請(qǐng)的技術(shù)方案，解決了基于字生成的文本生成模型僅基于字之間的依賴關(guān)系生成文本信息，容易出現(xiàn)局部語(yǔ)義偏移現(xiàn)象，導(dǎo)致文本生成模型的準(zhǔn)確度較低，生成的文本質(zhì)量差的問(wèn)題。通過(guò)對(duì)第一樣本數(shù)據(jù)集中的每個(gè)第一樣本數(shù)據(jù)進(jìn)行結(jié)構(gòu)化信息提取，并利用初始文本生成模型對(duì)每個(gè)第一樣本數(shù)據(jù)進(jìn)行處理，以生成每個(gè)樣本數(shù)據(jù)對(duì)應(yīng)的預(yù)測(cè)結(jié)構(gòu)化信息，進(jìn)而根據(jù)每個(gè)預(yù)測(cè)結(jié)構(gòu)化信息與對(duì)應(yīng)的目標(biāo)結(jié)構(gòu)化信息的差異，對(duì)初始文本生成模型進(jìn)行短語(yǔ)生成能力訓(xùn)練，以提升文本生成模型的短語(yǔ)生成能力。由此，通過(guò)利用文本生成模型生成結(jié)構(gòu)化信息中的短語(yǔ)，以提升文本生成模型的短語(yǔ)生成能力，從而實(shí)現(xiàn)了從短語(yǔ)粒度生成文本，以提升生成文本的上下文聯(lián)系，解決了局部語(yǔ)義偏移的問(wèn)題，提升了文本生成的準(zhǔn)確度。