[發(fā)明專利]文本分類模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202011038589.6
• 申請(qǐng)日: 2020-09-28
• 公開(kāi)（公告）號(hào): CN112115267B
• 公開(kāi)（公告）日: 2023-07-07
• 發(fā)明（設(shè)計(jì)）人: 劉廣;黃海龍
• 申請(qǐng)（專利權(quán)）人: 平安科技（深圳）有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06N20/00
• 代理公司: 深圳中一聯(lián)合知識(shí)產(chǎn)權(quán)代理有限公司 44414
• 代理人: 耿立平

本申請(qǐng)適用于人工智能技術(shù)領(lǐng)域，提供了一種文本分類模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。該方法獲取訓(xùn)練樣本集，訓(xùn)練樣本集包括N個(gè)有標(biāo)訓(xùn)練樣本和M個(gè)無(wú)標(biāo)訓(xùn)練樣本，每個(gè)有標(biāo)訓(xùn)練樣本包括文本信息以及文本信息的類別標(biāo)簽，每個(gè)無(wú)標(biāo)訓(xùn)練樣本包括文本信息；M和N均為大于1的整數(shù)；根據(jù)訓(xùn)練樣本集以及M個(gè)增強(qiáng)訓(xùn)練樣本對(duì)初始文本分類模型和初始文本增強(qiáng)模型進(jìn)行交替迭代訓(xùn)練，得到目標(biāo)文本分類模型；其中，在第i次交替迭代訓(xùn)練過(guò)程中，M個(gè)增強(qiáng)訓(xùn)練樣本根據(jù)第i?1次交替迭代得到的文本增強(qiáng)模型對(duì)M個(gè)無(wú)標(biāo)訓(xùn)練樣本進(jìn)行文本增強(qiáng)處理生成，i為大于1的整數(shù)。本申請(qǐng)實(shí)施例提供的文本分類模型的訓(xùn)練方法提高了最終得到的文本分類模型的性能。

技術(shù)領(lǐng)域

本申請(qǐng)屬于人工智能技術(shù)領(lǐng)域，尤其涉及一種文本分類模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

文本分類作為自然語(yǔ)言處理的一項(xiàng)重要任務(wù)，正在得到越來(lái)越廣泛的研究和應(yīng)用?，F(xiàn)實(shí)場(chǎng)景中基于文本分類模型進(jìn)行文本分類，通常會(huì)遇到數(shù)據(jù)量多標(biāo)注少(低資源)問(wèn)題，面對(duì)一個(gè)標(biāo)注數(shù)據(jù)稀缺的低資源應(yīng)用場(chǎng)景，半監(jiān)督訓(xùn)練方法可以利用非常少量的標(biāo)注語(yǔ)料以及大量無(wú)標(biāo)注數(shù)據(jù)得到一個(gè)高性能的文本分類模型。

目前，半監(jiān)督訓(xùn)練方法通常采用虛擬對(duì)抗訓(xùn)練(Virtual?Adversarial?Training，VAT)來(lái)進(jìn)行，虛擬對(duì)抗訓(xùn)練VAT通過(guò)在待標(biāo)注數(shù)據(jù)中引入噪音向量(局部擾動(dòng))以泛化模型。但是由于噪音向量的可解釋性差，VAT不能很好的指出待標(biāo)注數(shù)據(jù)的類型，并不能幫助我們?cè)跀?shù)據(jù)量少的情況下對(duì)未來(lái)標(biāo)注數(shù)據(jù)的類型提供指引，且當(dāng)標(biāo)注數(shù)據(jù)量小時(shí)模型對(duì)噪音更加敏感，因此造成了文本分類模型的分類效果不佳。

發(fā)明內(nèi)容

有鑒于此，本申請(qǐng)實(shí)施例提供了一種文本分類模型的訓(xùn)練方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)，以解決現(xiàn)有技術(shù)中文本分類模型的分類效果不佳的技術(shù)問(wèn)題。

第一方面，本申請(qǐng)實(shí)施例提供了一種文本分類模型的訓(xùn)練方法，包括：

獲取訓(xùn)練樣本集，訓(xùn)練樣本集包括N個(gè)有標(biāo)訓(xùn)練樣本和M個(gè)無(wú)標(biāo)訓(xùn)練樣本，每個(gè)有標(biāo)訓(xùn)練樣本包括文本信息以及文本信息的類別標(biāo)簽，每個(gè)無(wú)標(biāo)訓(xùn)練樣本包括文本信息；M和N均為大于1的整數(shù)；

根據(jù)訓(xùn)練樣本集以及M個(gè)增強(qiáng)訓(xùn)練樣本對(duì)初始文本分類模型和初始文本增強(qiáng)模型進(jìn)行交替迭代訓(xùn)練，得到目標(biāo)文本分類模型；其中，在第i次交替迭代訓(xùn)練過(guò)程中，M個(gè)增強(qiáng)訓(xùn)練樣本根據(jù)第i-1次交替迭代得到的文本增強(qiáng)模型對(duì)M個(gè)無(wú)標(biāo)訓(xùn)練樣本進(jìn)行文本增強(qiáng)處理生成，i為大于1的整數(shù)。

在第一方面的一種可能實(shí)現(xiàn)方式中，交替迭代訓(xùn)練的次數(shù)為多次，且每次交替迭代訓(xùn)練過(guò)程包括k次子迭代過(guò)程；

根據(jù)所述訓(xùn)練樣本集以及M個(gè)增強(qiáng)訓(xùn)練樣本，對(duì)初始文本分類模型和初始文本增強(qiáng)模型進(jìn)行交替迭代訓(xùn)練，得到目標(biāo)文本分類模型，包括：

對(duì)于每次交替迭代訓(xùn)練中的第j次子迭代過(guò)程，按照預(yù)設(shè)比例從訓(xùn)練樣本集中抽取有標(biāo)訓(xùn)練樣本以及無(wú)標(biāo)訓(xùn)練樣本；其中，1＜j≤k；

根據(jù)第j-1次子迭代得到的文本增強(qiáng)模型對(duì)抽取的無(wú)標(biāo)訓(xùn)練樣本進(jìn)行處理，獲得與無(wú)標(biāo)訓(xùn)練樣本對(duì)應(yīng)的增強(qiáng)訓(xùn)練樣本；

將增強(qiáng)訓(xùn)練樣本、抽取的有標(biāo)訓(xùn)練樣本以及無(wú)標(biāo)訓(xùn)練樣本作為輸入，對(duì)第j-1次子迭代得到的文本分類模型和第j-1次子迭代得到的文本增強(qiáng)模型進(jìn)行訓(xùn)練，得到第j次子迭代得到的文本分類模型和第j次子迭代得到的文本增強(qiáng)模型；

返回執(zhí)行按照預(yù)設(shè)比例從所述訓(xùn)練樣本集中抽取有標(biāo)訓(xùn)練樣本以及無(wú)標(biāo)訓(xùn)練樣本的步驟，直至訓(xùn)練樣本集中N個(gè)有標(biāo)訓(xùn)練樣本和M個(gè)無(wú)標(biāo)訓(xùn)練樣本均迭代一次后，獲得當(dāng)前交替迭代訓(xùn)練后的文本分類模型。

在第一方面的一種可能實(shí)現(xiàn)方式中，將增強(qiáng)訓(xùn)練樣本、抽取的有標(biāo)訓(xùn)練樣本以及無(wú)標(biāo)訓(xùn)練樣本作為輸入，對(duì)第j-1次子迭代得到的文本分類模型和第j-1次子迭代得到的文本增強(qiáng)模型進(jìn)行訓(xùn)練，得到第j次子迭代的文本分類模型和第j次子迭代的文本增強(qiáng)模型，包括：