[發(fā)明專利]自然語言處理模型的訓(xùn)練方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011106273.6
• 申請(qǐng)日: 2020-10-16
• 公開（公告）號(hào): CN111931520B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 王凡;田浩;方曉敏;何徑舟
• 申請(qǐng)（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號(hào): G06F40/56
• 分類號(hào): G06F40/56;G06F40/30
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 石茵汀

本申請(qǐng)公開了自然語言處理模型的訓(xùn)練方法和裝置，涉及深度學(xué)習(xí)和自然語言處理技術(shù)領(lǐng)域。具體實(shí)現(xiàn)方案為：根據(jù)已獲取到的自然語言處理的元模型集合，生成衍生模型，并將多個(gè)衍生模型作為元模型添加至元模型集合中，增加元模型集合中的模型數(shù)量，以備后續(xù)對(duì)元模型集合進(jìn)行元訓(xùn)練；之后，根據(jù)經(jīng)過訓(xùn)練的元模型的性能參數(shù)，對(duì)元模型集合中的元模型進(jìn)行篩選，從而得到性能良好的元模型進(jìn)行自然語言處理任務(wù)的適配訓(xùn)練。由于該方案采用了對(duì)元模型進(jìn)行豐富后再篩選的方式，使得篩選保留的元模型性能得到提升，從而無論適配訓(xùn)練涉及何種領(lǐng)域或語種，在后續(xù)對(duì)應(yīng)領(lǐng)域或語種的自然語言處理任務(wù)上均得到較為準(zhǔn)確的處理結(jié)果。

技術(shù)領(lǐng)域

本申請(qǐng)涉及人工智能技術(shù)領(lǐng)域，具體涉及深度學(xué)習(xí)和自然語言處理技術(shù)領(lǐng)域，尤其涉及自然語言處理模型的訓(xùn)練方法和裝置。

背景技術(shù)

在自然語言處理技術(shù)領(lǐng)域中，在一些場(chǎng)景下，對(duì)模型進(jìn)行訓(xùn)練，使得模型對(duì)特定語種完成語義理解、翻譯、問答等任務(wù)，一旦切換了語種進(jìn)行訓(xùn)練，則執(zhí)行效果不佳；在另一些場(chǎng)景下，可使模型完成特定領(lǐng)域的語義理解、翻譯、問答等任務(wù)，若對(duì)該模型進(jìn)行其他領(lǐng)域的相似任務(wù)訓(xùn)練，使其用于其他領(lǐng)域執(zhí)行這類任務(wù)，同樣出現(xiàn)了執(zhí)行效果不佳的問題。可見現(xiàn)有的自然語言處理模型應(yīng)用場(chǎng)景受限。

發(fā)明內(nèi)容

提供了一種自然語言處理模型的訓(xùn)練方法和裝置。

根據(jù)第一方面，提供了一種自然語言處理模型的訓(xùn)練方法，通過將多個(gè)衍生模型添加到元模型集合中，使元模型集合數(shù)量擴(kuò)大，并且根據(jù)元模型的性能參數(shù)對(duì)元模型進(jìn)行篩選，篩選出性能較佳的元模型進(jìn)行自然語言處理任務(wù)的適配訓(xùn)練，由于該方案采用了對(duì)元模型進(jìn)行豐富后再篩選的方式，使得篩選保留的元模型性能得到提升，從而在對(duì)篩選保留的元模型進(jìn)行所需領(lǐng)域或語種的適配訓(xùn)練后執(zhí)行對(duì)應(yīng)領(lǐng)域或語種的自然語言處理任務(wù)時(shí)，不會(huì)受限于自然語言處理任務(wù)的領(lǐng)域或語種。無論適配訓(xùn)練涉及何種領(lǐng)域或語種，在后續(xù)對(duì)應(yīng)領(lǐng)域或語種的自然語言處理任務(wù)上均得到較為準(zhǔn)確的處理結(jié)果。

本申請(qǐng)第二方面提出了一種自然語言處理模型的訓(xùn)練裝置。

本申請(qǐng)第三方面提出了一種電子設(shè)備。

本申請(qǐng)第四方面提出了一種存儲(chǔ)有計(jì)算機(jī)指令的非瞬時(shí)計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)。

本申請(qǐng)第一方面實(shí)施例提出了一種自然語言處理模型的訓(xùn)練方法，包括：獲取自然語言處理的元模型集合；根據(jù)所述元模型集合，生成衍生模型，并將所述衍生模型作為元模型添加至所述元模型集合中；對(duì)所述元模型集合進(jìn)行元訓(xùn)練，以確定所述元模型集合中經(jīng)過訓(xùn)練的每一元模型的性能參數(shù)；根據(jù)所述性能參數(shù)，對(duì)所述元模型集合中的元模型進(jìn)行篩選，以將篩選保留的元模型進(jìn)行自然語言處理任務(wù)的適配訓(xùn)練，得到用以執(zhí)行所述自然語言處理任務(wù)的適配模型。

本申請(qǐng)實(shí)施例的自然語言處理模型的訓(xùn)練方法，通過獲取自然語言處理的元模型集合；根據(jù)所述元模型集合，生成衍生模型，并將所述衍生模型作為元模型添加至所述元模型集合中；對(duì)所述元模型集合進(jìn)行元訓(xùn)練，以確定所述元模型集合中經(jīng)過訓(xùn)練的每一元模型的性能參數(shù)；根據(jù)所述性能參數(shù)，對(duì)所述元模型集合中的元模型進(jìn)行篩選，以將篩選保留的元模型進(jìn)行自然語言處理任務(wù)的適配訓(xùn)練，得到用以執(zhí)行所述自然語言處理任務(wù)的適配模型。該方法通過將多個(gè)衍生模型添加到元模型集合中，使元模型集合數(shù)量擴(kuò)大，并且根據(jù)元模型的性能參數(shù)對(duì)元模型進(jìn)行篩選，篩選出性能較佳的元模型進(jìn)行自然語言處理任務(wù)的適配訓(xùn)練，從而使適配訓(xùn)練結(jié)果不需要反向傳遞至元訓(xùn)練過程，也能達(dá)到較優(yōu)的訓(xùn)練結(jié)果，有效地提高了訓(xùn)練效率。同時(shí)，由于該方案采用了對(duì)元模型進(jìn)行豐富后再篩選的方式，使得篩選保留的元模型性能得到提升，從而在對(duì)篩選保留的元模型進(jìn)行所需領(lǐng)域或語種的適配訓(xùn)練后執(zhí)行對(duì)應(yīng)領(lǐng)域或語種的自然語言處理任務(wù)時(shí)，不會(huì)受限于自然語言處理任務(wù)的領(lǐng)域或語種。無論適配訓(xùn)練涉及何種領(lǐng)域或語種，在后續(xù)對(duì)應(yīng)領(lǐng)域或語種的自然語言處理任務(wù)上均得到較為準(zhǔn)確的處理結(jié)果。