[發(fā)明專利]文本分類方法、裝置和電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 202110683108.5
• 申請(qǐng)日: 2021-06-18
• 公開（公告）號(hào): CN113312899B
• 公開（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 汪碩芃;張林箭;宋有偉;張聰;范長(zhǎng)杰;胡志鵬
• 申請(qǐng)（專利權(quán)）人: 網(wǎng)易(杭州)網(wǎng)絡(luò)有限公司
• 主分類號(hào): G06F40/216
• 分類號(hào): G06F40/216;G06F40/30;G06F40/44;G06N3/08;G06F16/35
• 代理公司: 北京超凡宏宇專利代理事務(wù)所(特殊普通合伙) 11463
• 代理人: 鐘揚(yáng)飛

1.一種文本分類方法，其特征在于，所述方法包括：

將獲取的待分類文本輸入至預(yù)先訓(xùn)練完成的文本分類模型中，得到輸出結(jié)果；基于所述輸出結(jié)果確定所述待分類文本的文本類別；

其中，所述文本分類模型通過(guò)下述方式訓(xùn)練得到：

基于統(tǒng)計(jì)頻率高于預(yù)設(shè)閾值的文本數(shù)據(jù)和/或語(yǔ)義相似度滿足預(yù)設(shè)條件的文本數(shù)據(jù)，確定多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則；

基于所述多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則，對(duì)所述多個(gè)樣本文本進(jìn)行標(biāo)注；如果所述樣本文本的屬性與多個(gè)所述屬性規(guī)則中的一個(gè)屬性規(guī)則相匹配，將所述樣本文本的標(biāo)注信息設(shè)置為相匹配的屬性規(guī)則對(duì)應(yīng)的文本類別；如果所述樣本文本的屬性與多個(gè)所述屬性規(guī)則均不匹配，將所述樣本文本的標(biāo)注信息設(shè)備為指定類別；

基于攜帶有標(biāo)注信息的所述多個(gè)樣本文本，對(duì)初始模型進(jìn)行訓(xùn)練，得到所述文本分類模型。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于統(tǒng)計(jì)頻率高于預(yù)設(shè)閾值的文本數(shù)據(jù)，確定多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則的步驟，包括：

獲取包含有多個(gè)本文數(shù)據(jù)的數(shù)據(jù)集；

對(duì)所述數(shù)據(jù)集中每個(gè)文本數(shù)據(jù)在所述數(shù)據(jù)集中出現(xiàn)的頻次進(jìn)行統(tǒng)計(jì)，得到每個(gè)所述文本數(shù)據(jù)的統(tǒng)計(jì)頻率；將所述統(tǒng)計(jì)頻率高于所述預(yù)設(shè)閾值的文本數(shù)據(jù)確定為第一目標(biāo)數(shù)據(jù)；

根據(jù)所述第一目標(biāo)數(shù)據(jù)，確定多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，基于語(yǔ)義相似度滿足預(yù)設(shè)條件的文本數(shù)據(jù)，確定多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則的步驟，包括：

獲取包含有多個(gè)本文數(shù)據(jù)的數(shù)據(jù)集；

對(duì)所述數(shù)據(jù)集中的每個(gè)文本數(shù)據(jù)進(jìn)行語(yǔ)義分析，得到每個(gè)所述文本數(shù)據(jù)的語(yǔ)義向量；

基于所述語(yǔ)義向量確定多個(gè)所述文本數(shù)據(jù)之間的語(yǔ)義相似度，將所述語(yǔ)義相似度滿足所述預(yù)設(shè)條件的文本數(shù)據(jù)，確定為第二目標(biāo)數(shù)據(jù)；

根據(jù)所述第二目標(biāo)數(shù)據(jù)，確定多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述對(duì)所述數(shù)據(jù)集中的每個(gè)文本數(shù)據(jù)進(jìn)行語(yǔ)義分析，得到每個(gè)所述文本數(shù)據(jù)的語(yǔ)義向量的步驟，包括：

針對(duì)每個(gè)所述文本數(shù)據(jù)，將所述文本數(shù)據(jù)輸入至預(yù)設(shè)的語(yǔ)言模型中，得到所述文本數(shù)據(jù)對(duì)應(yīng)的語(yǔ)義向量。

5.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述語(yǔ)義相似度滿足所述預(yù)設(shè)條件的文本數(shù)據(jù)，確定為第二目標(biāo)數(shù)據(jù)的步驟，包括：

將所述語(yǔ)義相似度在指定范圍內(nèi)的文本數(shù)據(jù)確定為一個(gè)聚類簇，得到多個(gè)聚類簇；

從所述多個(gè)聚類簇中，選取包含所述文本數(shù)據(jù)的數(shù)量高于預(yù)設(shè)數(shù)量閾值的目標(biāo)聚類簇；從每個(gè)所述目標(biāo)聚類簇中選取一個(gè)文本數(shù)據(jù)作為所述第二目標(biāo)數(shù)據(jù)。

6.根據(jù)權(quán)利要求5所述的方法，其特征在于，所述從每個(gè)所述目標(biāo)聚類簇中選取一個(gè)文本數(shù)據(jù)作為所述第二目標(biāo)數(shù)據(jù)的步驟，包括：

針對(duì)每個(gè)所述目標(biāo)聚類簇執(zhí)行下述操作：

計(jì)算所述目標(biāo)聚類簇中的所述文本數(shù)據(jù)的語(yǔ)義向量的平均值；

將所述目標(biāo)聚類簇中與所述平均值的距離最小的語(yǔ)義向量對(duì)應(yīng)的文本數(shù)據(jù)，確定為所述第二目標(biāo)數(shù)據(jù)。

7.根據(jù)權(quán)利要求2所述的方法，其特征在于，基于統(tǒng)計(jì)頻率高于預(yù)設(shè)閾值的文本數(shù)據(jù)和語(yǔ)義相似度滿足預(yù)設(shè)條件的文本數(shù)據(jù)，確定多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則的步驟，包括：

對(duì)所述數(shù)據(jù)集中除所述第一目標(biāo)數(shù)據(jù)之外的第一數(shù)據(jù)進(jìn)行語(yǔ)義分析，得到每個(gè)所述第一數(shù)據(jù)的語(yǔ)義向量；基于所述語(yǔ)義向量確定多個(gè)所述第一數(shù)據(jù)之間的語(yǔ)義相似度，將所述語(yǔ)義相似度滿足所述預(yù)設(shè)條件的第一數(shù)據(jù)，確定為第三目標(biāo)數(shù)據(jù)；

根據(jù)所述第一目標(biāo)數(shù)據(jù)和所述第三目標(biāo)數(shù)據(jù)，確定多個(gè)文本類別以及每個(gè)所述文本類別對(duì)應(yīng)的屬性規(guī)則。