[發(fā)明專利]文本分類模型的訓(xùn)練方法、裝置及文本分類方法在審
| 申請?zhí)枺?/td> | 202210283313.7 | 申請日： | 2022-03-22 |
| 公開（公告）號： | CN114626376A | 公開（公告）日： | 2022-06-14 |
| 發(fā)明（設(shè)計）人： | 莫琪 | 申請（專利權(quán)）人： | 平安普惠企業(yè)管理有限公司 |
| 主分類號： | G06F40/289 | 分類號： | G06F40/289;G06F40/211;G06K9/62;G06N3/04;G06N3/08 |
| 代理公司： | 北京中強智尚知識產(chǎn)權(quán)代理有限公司 11448 | 代理人： | 黃耀威 |
| 地址： | 518000 廣東省深圳市前海深港合作區(qū)前*** | 國省代碼： | 廣東;44 |
| 權(quán)利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關(guān)鍵詞： | 文本 分類 模型 訓(xùn)練 方法 裝置 | ||
1.一種文本分類模型的訓(xùn)練方法，其特征在于，包括：
構(gòu)建分類任務(wù)的候選空間，并建立所述候選空間與所述分類任務(wù)的實際類別之間的映射關(guān)系；
將有標(biāo)注訓(xùn)練數(shù)據(jù)轉(zhuǎn)化為掩蔽語言文本，其中，所述掩蔽語言文本中被掩蔽token屬于預(yù)設(shè)的候選空間；
將所述掩蔽語言文本輸入至MLM模型中進行預(yù)測，得到所述掩蔽語言文本的被掩蔽token；
根據(jù)所述映射關(guān)系，將預(yù)測得到的被掩蔽token映射到實際類別中，得到所述待預(yù)測文本的分類結(jié)果；并根據(jù)所述分類結(jié)果，對所述MLM模型進行參數(shù)調(diào)整，以得到文本分類模型。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述構(gòu)建所述分類任務(wù)的候選空間，并建立所述候選空間與所述分類任務(wù)的實際類別之間的映射關(guān)系的步驟之前，還包括：
基于無標(biāo)注的領(lǐng)域訓(xùn)練數(shù)據(jù)，對MLM模型進行文本分類任務(wù)訓(xùn)練，得到更新后的MLM模型；
基于有標(biāo)注的領(lǐng)域訓(xùn)練數(shù)據(jù)，對所述更新后的MLM模型進行文本分類任務(wù)訓(xùn)練。
3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述構(gòu)建分類任務(wù)的候選空間包括：
確定所述分類任務(wù)的實際類別的數(shù)量；
根據(jù)所述數(shù)量，以及所述分類任務(wù)的應(yīng)用場景，確定所述候選空間的多個子集；
將所述多個子集，按照預(yù)設(shè)排序規(guī)則進行排序，得到所述候選空間。
4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述建立所述候選空間與實際類別之間的映射關(guān)系包括：
根據(jù)所述候選空間中各子集的語義特征，建立所述候選空間中各子集與各實際類別之間的一一對應(yīng)關(guān)系，將所述對應(yīng)關(guān)系作為所述映射關(guān)系。
5.根據(jù)權(quán)利要求1所述的方法，其特征在于，在本申請的一些實施例中，在上述方法中，所述將有標(biāo)注訓(xùn)練數(shù)據(jù)轉(zhuǎn)化為掩蔽語言文本，包括：
對所述有標(biāo)注訓(xùn)練數(shù)據(jù)添加指定形容詞；
在所述形容詞的指定位置添加限制性詞語，其中，所述限制性詞語屬于所述候選空間；
將所述限制性詞語作為被掩蔽的token，得到掩蔽語言文本。
6.根據(jù)權(quán)利要求1～5中任一項所述的方法，其特征在于，所述MLM模型為采用MLM方法訓(xùn)練得到的BERT模型或RoBERTa模型。
7.一種文本分類模型的訓(xùn)練裝置，其特征在于，所述裝置包括：
構(gòu)建單元，用于構(gòu)建分類任務(wù)的候選空間，并建立所述候選空間與所述分類任務(wù)的實際類別之間的映射關(guān)系；
轉(zhuǎn)化單元，用于將有標(biāo)注訓(xùn)練數(shù)據(jù)轉(zhuǎn)化為掩蔽語言文本，其中，所述掩蔽語言文本中被掩蔽token屬于預(yù)設(shè)的候選空間；
Token預(yù)測單元，用于將所述掩蔽語言文本輸入至MLM模型中進行預(yù)測，得到所述掩蔽語言文本的被掩蔽token；
映射及更新單元，用于根據(jù)所述映射關(guān)系，將預(yù)測得到的被掩蔽token映射到實際類別中，得到所述待預(yù)測文本的分類結(jié)果；并根據(jù)所述分類結(jié)果，對所述MLM模型進行參數(shù)調(diào)整，以得到文本分類模型。
8.一種文本分類方法，其特征在于，所述方法是采用權(quán)利要求1～6中任一項所述的文本模型的訓(xùn)練方法得到的文本分類模型實現(xiàn)的。
9.一種電子設(shè)備，其特征在于，包括：
處理器；以及被安排成存儲計算機可執(zhí)行指令的存儲器，所述可執(zhí)行指令在被執(zhí)行時使所述處理器執(zhí)行所述權(quán)利要求1～6所述方法。
10.一種計算機可讀存儲介質(zhì)，其特征在于，所述計算機可讀存儲介質(zhì)存儲一個或多個程序，所述一個或多個程序當(dāng)被包括多個應(yīng)用程序的電子設(shè)備執(zhí)行時，使得所述電子設(shè)備執(zhí)行權(quán)利要求1～7中任一項所述的方法。
該專利技術(shù)資料僅供研究查看技術(shù)是否侵權(quán)等信息，商用須獲得專利權(quán)人授權(quán)。該專利全部權(quán)利屬于平安普惠企業(yè)管理有限公司，未經(jīng)平安普惠企業(yè)管理有限公司許可，擅自商用是侵權(quán)行為。如果您想購買此專利、獲得商業(yè)授權(quán)和技術(shù)合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202210283313.7/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
