[發(fā)明專利]一種文本數(shù)據(jù)分類方法及服務(wù)器

在審

• 申請?zhí)枺?/td>: 201710356683.8
• 申請日: 2017-05-19
• 公開（公告）號: CN108959293A
• 公開（公告）日: 2018-12-07
• 發(fā)明（設(shè)計）人: 馬洪芹
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

1.一種文本數(shù)據(jù)分類方法，其特征在于，包括：

服務(wù)器獲取S類文本數(shù)據(jù)中的特征詞并確定每個特征詞在所屬文本數(shù)據(jù)類別中的影響因子，所述每個特征詞的影響因子為根據(jù)所述每個特征詞在所屬的文本數(shù)據(jù)類別中出現(xiàn)的次數(shù)計算得到，所述S類中每類文本數(shù)據(jù)包括至少一個文本數(shù)據(jù)，S為大于等于1的正整數(shù)；

所述服務(wù)器將目標(biāo)類別中所述影響因子滿足預(yù)設(shè)條件的特征詞組合以得到所述目標(biāo)類別的組合詞，所述目標(biāo)類別為所述S類中的任意一類；

所述服務(wù)器生成描述目標(biāo)文本數(shù)據(jù)的特征向量，描述所述目標(biāo)文本數(shù)據(jù)的特征向量包含與所述目標(biāo)類別中的所述特征詞和所述組合詞兩類詞語中每個詞語一一對應(yīng)的權(quán)重因子，所述每個詞語對應(yīng)的權(quán)重因子的數(shù)值大小與所述每個詞語在所述目標(biāo)文本數(shù)據(jù)中出現(xiàn)的次數(shù)呈正相關(guān)，所述目標(biāo)文本數(shù)據(jù)為所述目標(biāo)類別的文本數(shù)據(jù)中的任意一個文本數(shù)據(jù)。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述服務(wù)器獲取S類文本數(shù)據(jù)中的特征詞并確定每個特征詞在所屬文本數(shù)據(jù)類別中的影響因子，包括：

獲取S類文本數(shù)據(jù)中的特征詞并從所述S類中依次選擇出一個類別來執(zhí)行操作A，直至對所述S類中的每個類別均執(zhí)行完所述操作A；

操作A：確定選擇出的類別中包含的全部特征詞并從所述全部特征詞中依次選擇出一個特征詞來執(zhí)行操作B，直至對所述全部特征詞中的每個特征詞均執(zhí)行完所述操作B；

操作B：確定第一比例和第二比例，并根據(jù)所述第一比例和所述第二比例計算選擇出的特征詞的影響因子，其中，所述第一比例為所述選擇出的特征詞在所述S類文本數(shù)據(jù)中出現(xiàn)的次數(shù)占所述S類文本數(shù)據(jù)的所有特征詞出現(xiàn)的總次數(shù)的比例，所述第二比例為所述選擇出的特征詞在所述選擇出的特征詞所屬的文本數(shù)據(jù)類別的文本數(shù)據(jù)中出現(xiàn)的次數(shù)占所述選擇出的特征詞所屬的文本數(shù)據(jù)類別的文本數(shù)據(jù)中所有特征詞出現(xiàn)的總次數(shù)的比例。

3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，所述服務(wù)器將目標(biāo)類別中所述影響因子滿足預(yù)設(shè)條件的特征詞組合以得到所述目標(biāo)類別的組合詞，包括：

將目標(biāo)類別的文本數(shù)據(jù)中影響因子達(dá)到第一預(yù)設(shè)閾值的所有特征詞劃分為第一組和第二組，所述第一組包括在所述S類文本數(shù)據(jù)中只出現(xiàn)于所述目標(biāo)類別的文本數(shù)據(jù)中的特征詞，所述第二組包括在所述S類文本數(shù)據(jù)中既出現(xiàn)在所述目標(biāo)類別的文本數(shù)據(jù)中又出現(xiàn)在其他類別的文本數(shù)據(jù)中的特征詞，S大于1；

將所述第一組中的特征詞與所述第二組中的特征詞進(jìn)行組合，以得到所述目標(biāo)類別的組合詞。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，所述將所述第一組中的特征詞與所述第二組中的特征詞進(jìn)行組合，以得到所述目標(biāo)類別的組合詞，包括：

將所述第一組中的特征詞與所述第二組中的特征詞進(jìn)行交叉組合以生成新詞語；

確定所述影響因子的數(shù)值大于第二預(yù)設(shè)閾值的新詞語為所述目標(biāo)類別的組合詞，所述新詞語的所述影響因子為根據(jù)組成所述新詞語的各個特征詞在所述目標(biāo)類別中的影響因子之和得到。

5.根據(jù)權(quán)利要求1-4任一項所述的方法，其特征在于，所述服務(wù)器生成描述目標(biāo)文本數(shù)據(jù)的支持向量之后，所述方法還包括：

所述服務(wù)器通過支持向量機(jī)SVM算法對所述目標(biāo)類別的文本數(shù)據(jù)的特征向量進(jìn)行訓(xùn)練以得到所述目標(biāo)類別的支持向量和所述支持向量的拉格朗日系數(shù)；

所述服務(wù)器根據(jù)所述目標(biāo)類別的支持向量和所述支持向量的拉格朗日系數(shù)計算所述每個詞語在所述目標(biāo)類別的文本數(shù)據(jù)中的相對權(quán)重；

所述服務(wù)器將所述相對權(quán)重小于第三預(yù)設(shè)閾值的所述每個詞語對應(yīng)的權(quán)重因子從所述目標(biāo)類別的文本數(shù)據(jù)的特征向量中刪除，以得到所述目標(biāo)類別的文本數(shù)據(jù)的新的特征向量。