[發(fā)明專利]文本分類模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010966556.1
• 申請(qǐng)日: 2020-09-15
• 公開(kāi)（公告）號(hào): CN112100378A
• 公開(kāi)（公告）日: 2020-12-18
• 發(fā)明（設(shè)計(jì)）人: 黃海龍;劉廣;高維國(guó)
• 申請(qǐng)（專利權(quán)）人: 中國(guó)平安人壽保險(xiǎn)股份有限公司
• 主分類號(hào): G06F16/35
• 分類號(hào): G06F16/35;G06K9/62;G06F40/289;G06N3/04;G06N3/08
• 代理公司: 深圳市精英專利事務(wù)所 44242
• 代理人: 蔣學(xué)超

本發(fā)明實(shí)施例公開(kāi)了一種文本分類模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，涉及人工智能技術(shù)領(lǐng)域。訓(xùn)練后的文本分類模型可儲(chǔ)存到區(qū)塊鏈中。該方法包括：獲取預(yù)存的初始樣本集作為目標(biāo)樣本集；根據(jù)預(yù)訓(xùn)練的BERT模型獲取目標(biāo)樣本集的拓展樣本集；將目標(biāo)樣本集與所述拓展樣本集合并得到總樣本集，并根據(jù)總樣本集對(duì)預(yù)設(shè)的文本分類模型進(jìn)行訓(xùn)練。通過(guò)BERT模型能夠預(yù)測(cè)初始樣本集中的樣本文本的相似文本，從而可得到大量的訓(xùn)練數(shù)據(jù)，解決了文本分類模型冷啟動(dòng)過(guò)程中，訓(xùn)練數(shù)據(jù)不足的問(wèn)題。通過(guò)大量的訓(xùn)練數(shù)據(jù)來(lái)對(duì)文本分類模型進(jìn)行訓(xùn)練，可使得文本分類模型能夠達(dá)到很好的訓(xùn)練效果，避免了由于訓(xùn)練數(shù)據(jù)過(guò)少而導(dǎo)致文本分類模型出現(xiàn)過(guò)擬合。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種文本分類模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

深度學(xué)習(xí)技術(shù)廣泛的應(yīng)用于文本分類中，訓(xùn)練深度學(xué)習(xí)模型需要大規(guī)模的有標(biāo)注的語(yǔ)料。而現(xiàn)實(shí)場(chǎng)景中文本分類任務(wù)卻面臨整體數(shù)據(jù)缺失的問(wèn)題，冷啟動(dòng)問(wèn)題就是缺失數(shù)據(jù)問(wèn)題典型場(chǎng)景。當(dāng)有新的場(chǎng)景在現(xiàn)實(shí)中應(yīng)用，此時(shí)還沒(méi)有產(chǎn)生線上數(shù)據(jù)，我們面臨一條訓(xùn)練數(shù)據(jù)都沒(méi)有卻要訓(xùn)練復(fù)雜模型的尷尬境地。現(xiàn)有的解決方案一般是通過(guò)了解業(yè)務(wù)的人員來(lái)人工定義一些關(guān)鍵詞，當(dāng)文本匹配上關(guān)鍵詞時(shí)則將其分為關(guān)鍵詞所在類別。

用關(guān)鍵詞匹配的方法有明顯的兩個(gè)缺點(diǎn)，一是關(guān)鍵詞匹配的準(zhǔn)確率非常低，待分類的文本如果含有否定詞則會(huì)表示完全相反含義，此時(shí)關(guān)鍵匹配完全不能正確分類。二是關(guān)鍵詞的覆蓋度不高，由于是業(yè)務(wù)人員猜想線上待分類文本的可能形式，并不能真正覆蓋所有線上待分類文本的所有情況。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種文本分類模型訓(xùn)練方法、裝置、計(jì)算機(jī)設(shè)備及存儲(chǔ)介質(zhì)，旨在解決文本分類模型冷啟動(dòng)時(shí)，訓(xùn)練數(shù)據(jù)少導(dǎo)致訓(xùn)練效果差的問(wèn)題。

第一方面，本發(fā)明實(shí)施例提供了一種文本分類模型訓(xùn)練方法，其包括：

獲取預(yù)存的初始樣本集作為目標(biāo)樣本集，所述初始樣本集包括樣本文本以及所述樣本文本的標(biāo)簽；

根據(jù)預(yù)訓(xùn)練的BERT模型獲取所述目標(biāo)樣本集的拓展樣本集，所述拓展樣本集中的樣本文本是所述BERT模型對(duì)所述初始樣本集中的樣本文本進(jìn)行預(yù)測(cè)后得到的；

將所述目標(biāo)樣本集與所述拓展樣本集合并得到總樣本集，并根據(jù)所述總樣本集對(duì)預(yù)設(shè)的文本分類模型進(jìn)行訓(xùn)練。

第二方面，本發(fā)明實(shí)施例還提供了一種文本分類模型訓(xùn)練裝置，其包括：

第一獲取單元，獲取預(yù)存的初始樣本集作為目標(biāo)樣本集，所述初始樣本集包括樣本文本以及所述樣本文本的標(biāo)簽；

第二獲取單元，用于根據(jù)預(yù)訓(xùn)練的BERT模型獲取所述目標(biāo)樣本集的拓展樣本集，所述拓展樣本集中的樣本文本是所述BERT模型對(duì)所述初始樣本集中的樣本文本進(jìn)行預(yù)測(cè)后得到的；

第一訓(xùn)練單元，用于將所述目標(biāo)樣本集與所述拓展樣本集合并得到總樣本集，并根據(jù)所述總樣本集對(duì)預(yù)設(shè)的文本分類模型進(jìn)行訓(xùn)練。

第三方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)設(shè)備，其包括存儲(chǔ)器及處理器，所述存儲(chǔ)器上存儲(chǔ)有計(jì)算機(jī)程序，所述處理器執(zhí)行所述計(jì)算機(jī)程序時(shí)實(shí)現(xiàn)上述方法。

第四方面，本發(fā)明實(shí)施例還提供了一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，所述存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)程序，所述計(jì)算機(jī)程序當(dāng)被處理器執(zhí)行時(shí)可實(shí)現(xiàn)上述方法。