[發(fā)明專利]文本分類模型的訓(xùn)練及文本分類方法、裝置、設(shè)備和介質(zhì)

在審

• 申請?zhí)枺?/td>: 202210503601.9
• 申請日: 2022-05-09
• 公開（公告）號: CN114741517A
• 公開（公告）日: 2022-07-12
• 發(fā)明（設(shè)計）人: 苑浩
• 申請（專利權(quán)）人: 北京百度網(wǎng)訊科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35;G06F40/30;G06K9/62
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 單冠飛

本公開提供了一種文本分類模型的訓(xùn)練及文本分類方法、裝置、設(shè)備和介質(zhì)，涉及深度學(xué)習(xí)和自然語言處理等領(lǐng)域。具體實現(xiàn)方案為：對獲取的多個樣本文本進(jìn)行聚類，得到至少一個目標(biāo)聚簇；根據(jù)各樣本文本所屬的目標(biāo)聚簇，生成各樣本文本對應(yīng)的簇標(biāo)簽；采用文本分類模型對各樣本文本進(jìn)行第一類別預(yù)測，得到各樣本文本的預(yù)測標(biāo)簽；根據(jù)各樣本文本對應(yīng)的預(yù)測標(biāo)簽和簇標(biāo)簽對文本分類模型進(jìn)行第一訓(xùn)練。由于聚類可捕捉到樣本文本中顯著的語義特征，通過對多個樣本文本進(jìn)行聚類的方式，來生成各樣本文本對應(yīng)的簇標(biāo)簽，并基于簇標(biāo)簽對文本分類模型進(jìn)行預(yù)訓(xùn)練，可以使得文本分類模型在真實訓(xùn)練之前，有效學(xué)習(xí)到樣本文本中顯著的語義信息，提升模型表現(xiàn)和性能。

技術(shù)領(lǐng)域

本公開涉及人工智能領(lǐng)域，具體涉及深度學(xué)習(xí)和自然語言處理等技術(shù)領(lǐng)域，尤其涉及文本分類模型的訓(xùn)練及文本分類方法、裝置、設(shè)備和介質(zhì)。

背景技術(shù)

自然語言處理(Natural Language Processing，NLP)是計算機(jī)科學(xué)領(lǐng)域與人工智能領(lǐng)域中的一個重要方向。其中，文本分類是自然語言處理工作的一項基礎(chǔ)性工作，文本分類利用文字這個信息載體將文本進(jìn)行整理和歸類，被廣泛應(yīng)用在不同領(lǐng)域，比如數(shù)字化圖書館、輿情分析、新聞推薦、郵件過濾等領(lǐng)域。

為了實現(xiàn)文本的自動分類，在已有的樣本文本上構(gòu)建文本分類模型(又可以稱為文本分類器)時，需要對文本分類模型進(jìn)行訓(xùn)練，從而基于訓(xùn)練好的文本分類模型對待分類文本進(jìn)行分類。

為了提升模型的預(yù)測效果，如何對文本分類模型進(jìn)行訓(xùn)練是非常重要的。

發(fā)明內(nèi)容

本公開提供了一種文本分類模型的訓(xùn)練及文本分類方法、裝置、設(shè)備和介質(zhì)。

根據(jù)本公開的一方面，提供了一種文本分類模型的訓(xùn)練方法，包括：

獲取多個樣本文本，并對所述多個樣本文本進(jìn)行聚類，以得到至少一個目標(biāo)聚簇；

根據(jù)各所述樣本文本所屬的目標(biāo)聚簇，生成各所述樣本文本對應(yīng)的簇標(biāo)簽，其中，所述簇標(biāo)簽用于指示所述樣本文本所屬的聚簇類別；

采用文本分類模型對各所述樣本文本進(jìn)行第一類別預(yù)測，得到各所述樣本文本對應(yīng)的預(yù)測標(biāo)簽；

根據(jù)各所述樣本文本對應(yīng)的預(yù)測標(biāo)簽和簇標(biāo)簽對所述文本分類模型進(jìn)行第一訓(xùn)練。

根據(jù)本公開的另一方面，提供了一種文本分類方法，包括：

獲取待分類文本；

采用經(jīng)過本公開上述一方面提出的文本分類模型的訓(xùn)練方法所訓(xùn)練的文本分類模型對所述待分類文本進(jìn)行分類，得到所述待分類文本的分類標(biāo)簽。

根據(jù)本公開的又一方面，提供了一種文本分類模型的訓(xùn)練裝置，包括：

獲取模塊，用于獲取多個樣本文本；

聚類模塊，用于對所述多個樣本文本進(jìn)行聚類，以得到至少一個目標(biāo)聚簇；

生成模塊，用于根據(jù)各所述樣本文本所屬的目標(biāo)聚簇，生成各所述樣本文本對應(yīng)的簇標(biāo)簽，其中，所述簇標(biāo)簽用于指示所述樣本文本所屬的聚簇類別；

第一預(yù)測模塊，用于采用文本分類模型對各所述樣本文本進(jìn)行第一類別預(yù)測，得到各所述樣本文本對應(yīng)的預(yù)測標(biāo)簽；

第二訓(xùn)練模塊，用于根據(jù)各所述樣本文本對應(yīng)的預(yù)測標(biāo)簽和簇標(biāo)簽對所述文本分類模型進(jìn)行第一訓(xùn)練。

根據(jù)本公開的再一方面，提供了一種文本分類裝置，包括：

獲取模塊，用于獲取待分類文本；

分類模塊，用于采用經(jīng)過本公開上述又一方面提出的文本分類模型的訓(xùn)練裝置所訓(xùn)練的文本分類模型對所述待分類文本進(jìn)行分類，得到所述待分類文本的分類標(biāo)簽。