[發(fā)明專利]一種神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置、設(shè)備及介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 201911366985.9
• 申請(qǐng)日: 2019-12-26
• 公開（公告）號(hào): CN113052191A
• 公開（公告）日: 2021-06-29
• 發(fā)明（設(shè)計(jì)）人: 王亞平;王志剛;楊碩;劉雅婷;劉振宇;王澤皓;王芳
• 申請(qǐng)（專利權(quán)）人: 航天信息股份有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62
• 代理公司: 北京同達(dá)信恒知識(shí)產(chǎn)權(quán)代理有限公司 11291
• 代理人: 李迪

本發(fā)明實(shí)施例提供了一種神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，用以降低訓(xùn)練樣本數(shù)據(jù)的標(biāo)注量，同時(shí)提高語(yǔ)言模型的訓(xùn)練效率。所述方法包括：獲取訓(xùn)練樣本數(shù)據(jù)；循環(huán)執(zhí)行如下步驟，直至訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型滿足預(yù)設(shè)要求：利用前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型對(duì)未進(jìn)行標(biāo)注的訓(xùn)練樣本數(shù)據(jù)進(jìn)行預(yù)測(cè)，確定用于表征每個(gè)訓(xùn)練樣本數(shù)據(jù)被識(shí)別的識(shí)別概率；依據(jù)預(yù)設(shè)選擇策略，基于每個(gè)訓(xùn)練樣本數(shù)據(jù)的識(shí)別概率，從未進(jìn)行標(biāo)注的訓(xùn)練樣本數(shù)據(jù)中選擇部分訓(xùn)練樣本數(shù)據(jù)請(qǐng)求進(jìn)行人工標(biāo)注；獲取人工標(biāo)注后的訓(xùn)練樣本數(shù)據(jù)，并基于人工標(biāo)注后的訓(xùn)練樣本數(shù)據(jù)對(duì)前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，得到新的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型。

技術(shù)領(lǐng)域

本發(fā)明涉及神經(jīng)網(wǎng)絡(luò)領(lǐng)域，尤其涉及一種神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

近些年來，基于海量數(shù)據(jù)的深度學(xué)習(xí)方法在文本領(lǐng)域取得了較好的效果，但其學(xué)習(xí)過程大部分都是有監(jiān)督的，即需要大量的帶標(biāo)注的訓(xùn)練數(shù)據(jù)。而現(xiàn)實(shí)場(chǎng)景中海量數(shù)據(jù)的標(biāo)注工作不僅是單調(diào)乏味，浪費(fèi)時(shí)間，而且需要耗費(fèi)一定的人力和物力，如領(lǐng)域文本的實(shí)體標(biāo)注，分類等任務(wù)。

為了解決此類問題，提出了遷移學(xué)習(xí)(transfer learning)的概念，即試圖將源任務(wù)獲得的知識(shí)，應(yīng)用于目標(biāo)領(lǐng)域。在文本領(lǐng)域，遷移學(xué)習(xí)最常見的應(yīng)用是神經(jīng)語(yǔ)言模型網(wǎng)絡(luò)，如ELMo、GPT和BERT等模型，其中BERT模型是目前效果最好的?，F(xiàn)有技術(shù)中先使用BERT模型在大規(guī)模語(yǔ)料上進(jìn)行無監(jiān)督學(xué)習(xí)得到的預(yù)訓(xùn)練模型，然后進(jìn)行特定文本任務(wù)的遷移學(xué)習(xí)，實(shí)驗(yàn)表明雖然可以顯著的降低文本深度網(wǎng)絡(luò)對(duì)標(biāo)注數(shù)據(jù)量的需求，但在實(shí)際任務(wù)中對(duì)語(yǔ)言模型的訓(xùn)練需要消耗大量時(shí)間，并且經(jīng)模型訓(xùn)練識(shí)別后，仍需要數(shù)千級(jí)以上的待標(biāo)注訓(xùn)練數(shù)據(jù)，特別是針對(duì)一些特殊應(yīng)用領(lǐng)域，如醫(yī)學(xué)、政務(wù)等，需專家進(jìn)行標(biāo)注，仍需花費(fèi)較大的代價(jià)。

綜上所述，現(xiàn)有技術(shù)中的文本深度學(xué)習(xí)網(wǎng)絡(luò)，訓(xùn)練數(shù)據(jù)標(biāo)注量較大，語(yǔ)言模型的訓(xùn)練時(shí)間較長(zhǎng)。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，用以降低訓(xùn)練樣本數(shù)據(jù)的標(biāo)注量，同時(shí)提高語(yǔ)言模型的訓(xùn)練效率。

第一方面，本發(fā)明實(shí)施例提供一種神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的訓(xùn)練方法，包括：

獲取訓(xùn)練樣本數(shù)據(jù)；

循環(huán)執(zhí)行如下步驟，直至訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型滿足預(yù)設(shè)要求：

利用前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型對(duì)未進(jìn)行標(biāo)注的訓(xùn)練樣本數(shù)據(jù)進(jìn)行預(yù)測(cè)，確定用于表征每個(gè)訓(xùn)練樣本數(shù)據(jù)被識(shí)別的識(shí)別概率；

依據(jù)預(yù)設(shè)選擇策略，基于每個(gè)訓(xùn)練樣本數(shù)據(jù)的識(shí)別概率，從未進(jìn)行標(biāo)注的訓(xùn)練樣本數(shù)據(jù)中選擇部分訓(xùn)練樣本數(shù)據(jù)請(qǐng)求進(jìn)行人工標(biāo)注；

獲取人工標(biāo)注后的訓(xùn)練樣本數(shù)據(jù)，并基于人工標(biāo)注后的訓(xùn)練樣本數(shù)據(jù)對(duì)前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，調(diào)整前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的參數(shù)，得到新的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型。

本發(fā)明實(shí)施例提供的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的訓(xùn)練方法，根據(jù)業(yè)務(wù)需求，獲取訓(xùn)練樣本數(shù)據(jù)后，循環(huán)執(zhí)行如下步驟，直至訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型滿足預(yù)設(shè)要求：首先，利用前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型對(duì)未進(jìn)行標(biāo)注的訓(xùn)練樣本數(shù)據(jù)進(jìn)行預(yù)測(cè)，確定用于表征每個(gè)訓(xùn)練樣本數(shù)據(jù)被識(shí)別的識(shí)別概率；然后依據(jù)預(yù)設(shè)選擇策略，并基于每個(gè)訓(xùn)練樣本數(shù)據(jù)的識(shí)別概率，在未進(jìn)行標(biāo)注的訓(xùn)練樣本數(shù)據(jù)中選擇出部分訓(xùn)練樣本數(shù)據(jù)，請(qǐng)求進(jìn)行人工標(biāo)注；最后獲取人工標(biāo)注后的訓(xùn)練樣本數(shù)據(jù)，并基于人工標(biāo)注后的訓(xùn)練樣本數(shù)據(jù)對(duì)前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，調(diào)整前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型的參數(shù)，得到新的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型。與現(xiàn)有技術(shù)相比，在訓(xùn)練過程對(duì)神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型不斷進(jìn)行優(yōu)化，提高了模型的訓(xùn)練效率，經(jīng)不斷優(yōu)化的模型識(shí)別后，有效降低了訓(xùn)練樣本數(shù)據(jù)的標(biāo)注量，減少了樣本數(shù)據(jù)標(biāo)注的成本。

在一種可能的實(shí)施方式中，基于人工標(biāo)注后的訓(xùn)練樣本數(shù)據(jù)對(duì)前一次訓(xùn)練得到的神經(jīng)語(yǔ)言網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，包括：