[發(fā)明專(zhuān)利]文本分類(lèi)方法、裝置和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110683108.5
• 申請(qǐng)日: 2021-06-18
• 公開(kāi)（公告）號(hào): CN113312899B
• 公開(kāi)（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 汪碩芃;張林箭;宋有偉;張聰;范長(zhǎng)杰;胡志鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類(lèi)號(hào): G06F40/216
• 分類(lèi)號(hào): G06F40/216;G06F40/30;G06F40/44;G06N3/08;G06F16/35
• 代理公司: 北京超凡宏宇專(zhuān)利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 鐘揚(yáng)飛

本發(fā)明提供一種文本分類(lèi)方法、裝置和電子設(shè)備，將待分類(lèi)文本輸入至訓(xùn)練好的文本分類(lèi)模型，得到待分類(lèi)文本的文本類(lèi)別；文本分類(lèi)模型的訓(xùn)練方式為：基于統(tǒng)計(jì)頻率高于預(yù)設(shè)閾值的文本數(shù)據(jù)和/或語(yǔ)義相似度滿(mǎn)足預(yù)設(shè)條件的文本數(shù)據(jù)，確定多個(gè)文本類(lèi)別和每個(gè)文本類(lèi)別的屬性規(guī)則；基于確定的文本類(lèi)別和文本類(lèi)別的屬性規(guī)則，標(biāo)注多個(gè)樣本文本，再基于攜帶有標(biāo)注信息的多個(gè)樣本文本對(duì)初始模型進(jìn)行訓(xùn)練，得到文本分類(lèi)模型。該方式根據(jù)選取的少量具有代表性的未標(biāo)注的文本數(shù)據(jù)，人工總結(jié)得到文本類(lèi)別和文本類(lèi)的屬性規(guī)則，進(jìn)而根據(jù)總結(jié)得到的規(guī)則自動(dòng)標(biāo)注文本，以得到標(biāo)注準(zhǔn)確率較高的標(biāo)注文本，從而使得根據(jù)標(biāo)注文本訓(xùn)練得到的文本分類(lèi)模型的分類(lèi)準(zhǔn)確率較高。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其是涉及一種文本分類(lèi)方法、裝置和電子設(shè)備。

背景技術(shù)

文本分類(lèi)任務(wù)通常是指基于已有的文本類(lèi)別對(duì)文本進(jìn)行推斷，得出該文本所屬的類(lèi)別。常見(jiàn)的文本分類(lèi)任務(wù)有情感分類(lèi)問(wèn)題、文本敏感信息檢測(cè)等。在實(shí)際應(yīng)用中，大多采用基于神經(jīng)網(wǎng)絡(luò)的文本分類(lèi)模型對(duì)文本進(jìn)行分類(lèi)，為了使模型達(dá)到一定的分類(lèi)準(zhǔn)確度，需要使用包含有大量的標(biāo)注文本的訓(xùn)練數(shù)據(jù)集對(duì)文本分類(lèi)模型進(jìn)行訓(xùn)練，其中，該標(biāo)注文本中攜帶有類(lèi)別標(biāo)簽。

相關(guān)技術(shù)中，為了得到大量的標(biāo)注文本提供了三種對(duì)未標(biāo)注文本進(jìn)行標(biāo)注的方式，第一種是人工對(duì)大量未標(biāo)注文本進(jìn)行標(biāo)注；第二種是采用字符替換的方式對(duì)已標(biāo)注文本中的關(guān)鍵詞進(jìn)行替換，來(lái)擴(kuò)充標(biāo)注文本；第三種是采用回譯的方式對(duì)已少量標(biāo)注的文本進(jìn)行數(shù)據(jù)增強(qiáng)，以擴(kuò)充標(biāo)注文本。但是，后兩種方式得到的標(biāo)注文本的標(biāo)注準(zhǔn)確率較低，會(huì)影響模型的分類(lèi)準(zhǔn)確度，第一種方式雖然可以保證標(biāo)注文本的準(zhǔn)確性，但需要消耗大量的人力和財(cái)力。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種文本分類(lèi)方法、裝置和電子設(shè)備，以在盡可能少的人工標(biāo)注下，提高模型識(shí)別文本類(lèi)別的準(zhǔn)確性。

第一方面，本發(fā)明提供了一種文本分類(lèi)方法，該方法包括：將獲取的待分類(lèi)文本輸入至預(yù)先訓(xùn)練完成的文本分類(lèi)模型中，得到輸出結(jié)果；基于該輸出結(jié)果確定待分類(lèi)文本的文本類(lèi)別；其中，文本分類(lèi)模型通過(guò)下述方式訓(xùn)練得到：基于統(tǒng)計(jì)頻率高于預(yù)設(shè)閾值的文本數(shù)據(jù)和/或語(yǔ)義相似度滿(mǎn)足預(yù)設(shè)條件的文本數(shù)據(jù)，確定多個(gè)文本類(lèi)別以及每個(gè)文本類(lèi)別對(duì)應(yīng)的屬性規(guī)則；基于多個(gè)文本類(lèi)別以及每個(gè)文本類(lèi)別對(duì)應(yīng)的屬性規(guī)則，對(duì)多個(gè)樣本文本進(jìn)行標(biāo)注，得到每個(gè)樣本文本對(duì)應(yīng)的標(biāo)注信息；基于攜帶有標(biāo)注信息的多個(gè)樣本文本，對(duì)初始模型進(jìn)行訓(xùn)練，得到文本分類(lèi)模型。

在可選的實(shí)施方式中，上述基于統(tǒng)計(jì)頻率高于預(yù)設(shè)閾值的文本數(shù)據(jù)，確定多個(gè)文本類(lèi)別以及每個(gè)文本類(lèi)別對(duì)應(yīng)的屬性規(guī)則的步驟，包括：獲取包含有多個(gè)本文數(shù)據(jù)的數(shù)據(jù)集；對(duì)數(shù)據(jù)集中每個(gè)文本數(shù)據(jù)在數(shù)據(jù)集中出現(xiàn)的頻次進(jìn)行統(tǒng)計(jì)，得到每個(gè)文本數(shù)據(jù)的統(tǒng)計(jì)頻率；將統(tǒng)計(jì)頻率高于預(yù)設(shè)閾值的文本數(shù)據(jù)確定為第一目標(biāo)數(shù)據(jù)；根據(jù)第一目標(biāo)數(shù)據(jù)，確定多個(gè)文本類(lèi)別以及每個(gè)文本類(lèi)別對(duì)應(yīng)的屬性規(guī)則。

在可選的實(shí)施方式中，上述基于語(yǔ)義相似度滿(mǎn)足預(yù)設(shè)條件的文本數(shù)據(jù)，確定多個(gè)文本類(lèi)別以及每個(gè)文本類(lèi)別對(duì)應(yīng)的屬性規(guī)則的步驟，包括：獲取包含有多個(gè)本文數(shù)據(jù)的數(shù)據(jù)集；對(duì)數(shù)據(jù)集中的每個(gè)文本數(shù)據(jù)進(jìn)行語(yǔ)義分析，得到每個(gè)文本數(shù)據(jù)的語(yǔ)義向量；基于語(yǔ)義向量確定多個(gè)文本數(shù)據(jù)之間的語(yǔ)義相似度，將語(yǔ)義相似度滿(mǎn)足預(yù)設(shè)條件的文本數(shù)據(jù)，確定為第二目標(biāo)數(shù)據(jù)；根據(jù)第二目標(biāo)數(shù)據(jù)，確定多個(gè)文本類(lèi)別以及每個(gè)文本類(lèi)別對(duì)應(yīng)的屬性規(guī)則。

在可選的實(shí)施方式中，上述對(duì)數(shù)據(jù)集中的每個(gè)文本數(shù)據(jù)進(jìn)行語(yǔ)義分析，得到每個(gè)文本數(shù)據(jù)的語(yǔ)義向量的步驟，包括：針對(duì)每個(gè)文本數(shù)據(jù)，將文本數(shù)據(jù)輸入至預(yù)設(shè)的語(yǔ)言模型中，得到文本數(shù)據(jù)對(duì)應(yīng)的語(yǔ)義向量。

在可選的實(shí)施方式中，上述將語(yǔ)義相似度滿(mǎn)足預(yù)設(shè)條件的文本數(shù)據(jù)，確定為第二目標(biāo)數(shù)據(jù)的步驟，包括：將語(yǔ)義相似度在指定范圍內(nèi)的文本數(shù)據(jù)確定為一個(gè)聚類(lèi)簇，得到多個(gè)聚類(lèi)簇；從多個(gè)聚類(lèi)簇中，選取包含文本數(shù)據(jù)的數(shù)量高于預(yù)設(shè)數(shù)量閾值的目標(biāo)聚類(lèi)簇；從每個(gè)目標(biāo)聚類(lèi)簇中選取一個(gè)文本數(shù)據(jù)作為第二目標(biāo)數(shù)據(jù)。