[發(fā)明專利]一種文本數(shù)據(jù)分類方法及服務(wù)器

有效

• 申請(qǐng)?zhí)枺?/td>: 201610296812.4
• 申請(qǐng)日: 2016-05-06
• 公開(kāi)（公告）號(hào): CN107346433B
• 公開(kāi)（公告）日: 2020-09-18
• 發(fā)明（設(shè)計(jì)）人: 馬洪芹
• 申請(qǐng)（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06F16/35
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 郝傳鑫;熊永強(qiáng)

本發(fā)明實(shí)施例公開(kāi)了一種文本數(shù)據(jù)分類方法及服務(wù)器，該方法包括：服務(wù)器通過(guò)支持向量機(jī)SVM算法對(duì)第一訓(xùn)練集進(jìn)行分析，并根據(jù)分析得到的第一分類模型對(duì)第一測(cè)試集進(jìn)行分類測(cè)試，第一訓(xùn)練集和第一測(cè)試集均包含多個(gè)支持向量，每個(gè)支持向量包含K個(gè)與K個(gè)特征詞對(duì)應(yīng)的權(quán)重因子，每個(gè)特征因子對(duì)應(yīng)一個(gè)特征詞；根據(jù)目標(biāo)支持向量的權(quán)重因子和第一分類模型中的參數(shù)計(jì)算K個(gè)特征詞中每個(gè)特征詞在目標(biāo)支持向量中的相對(duì)權(quán)重；通過(guò)SVM算法對(duì)第二訓(xùn)練集進(jìn)行分析，并根據(jù)分析得到的第二分類模型對(duì)第二測(cè)試集進(jìn)行分類測(cè)試，第二訓(xùn)練集和第二測(cè)試集中的支持向量均包含K個(gè)特征詞中的除目標(biāo)特征詞以外的特征詞對(duì)應(yīng)的權(quán)重因子。采用本發(fā)明，能夠降低分類模型分類的錯(cuò)誤率。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)技術(shù)領(lǐng)域，尤其涉及一種文本數(shù)據(jù)分類方法及服務(wù)器。

背景技術(shù)

支持向量機(jī)(英文：Support Vector Machine，簡(jiǎn)稱：SVM)是一個(gè)有監(jiān)督的學(xué)習(xí)模型，通常用來(lái)進(jìn)行模式識(shí)別、分類、以及回歸分析等。圖1是現(xiàn)有技術(shù)中基于SVM算法進(jìn)行數(shù)據(jù)分類的流程示意圖，具體包括：

分類服務(wù)器獲取已分類的文本數(shù)據(jù)并通過(guò)預(yù)設(shè)的分詞算法提取該已分類的文本數(shù)據(jù)中的特征詞。計(jì)算各個(gè)特征詞的權(quán)重并通過(guò)向量分別表示每個(gè)特征詞的權(quán)重。將得到的向量中的一部分向量作為訓(xùn)練集，以及將得到的向量中的另一部分向量作為測(cè)試集。通過(guò)SVM訓(xùn)練系統(tǒng)對(duì)該訓(xùn)練集中的向量進(jìn)行分析以得到模型文件，通過(guò)該模型文件對(duì)該測(cè)試集中的向量分類。參照預(yù)先分類的結(jié)果判斷通過(guò)該分類模型分類的結(jié)果的錯(cuò)誤率是否在預(yù)設(shè)范圍內(nèi)，若錯(cuò)誤率不在預(yù)設(shè)范圍內(nèi)，則重新獲取訓(xùn)練集并基于獲取的新訓(xùn)練集計(jì)算模型文件，若錯(cuò)誤率在預(yù)設(shè)范圍內(nèi)，則將該模型文件作為對(duì)文本數(shù)據(jù)進(jìn)行分類的模型。然后，獲取未分類數(shù)據(jù)并通過(guò)預(yù)設(shè)的分詞算法提取該未分類數(shù)據(jù)中的特征詞；計(jì)算各個(gè)特征詞的權(quán)重并通過(guò)向量表示特征詞的權(quán)重；通過(guò)分類的錯(cuò)誤率落入預(yù)設(shè)范圍的模型文件對(duì)該向量分類并輸出分類結(jié)果。

現(xiàn)有技術(shù)的缺陷在于，當(dāng)分類模型分類結(jié)果的錯(cuò)誤率超出預(yù)設(shè)范圍時(shí)，重新獲取的訓(xùn)練集具有偶然性，不一定能夠降低該模型文件分類的錯(cuò)誤率。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例公開(kāi)了一種文本數(shù)據(jù)分類方法及服務(wù)器，能夠降低分類模型分類的錯(cuò)誤率。

第一方面，本發(fā)明實(shí)施例提供一種文本數(shù)據(jù)分類方法，該方法包括：

服務(wù)器通過(guò)支持向量機(jī)SVM算法對(duì)第一訓(xùn)練集進(jìn)行分析，并根據(jù)分析得到的第一分類模型對(duì)第一測(cè)試集進(jìn)行分類測(cè)試，所述第一訓(xùn)練集和所述第一測(cè)試集均包含多個(gè)支持向量，每個(gè)支持向量包含K個(gè)與K個(gè)特征詞對(duì)應(yīng)的權(quán)重因子，每個(gè)所述權(quán)重因子對(duì)應(yīng)一個(gè)特征詞，所述權(quán)重因子的數(shù)值大小與所述權(quán)重因子對(duì)應(yīng)的特征詞在所述支持向量描述的文本數(shù)據(jù)中出現(xiàn)的次數(shù)成正相關(guān)，K為大于1的正整數(shù)；

所述服務(wù)器根據(jù)目標(biāo)支持向量的權(quán)重因子和所述第一分類模型中的參數(shù)計(jì)算所述K個(gè)特征詞中每個(gè)特征詞在所述目標(biāo)支持向量中的相對(duì)權(quán)重，所述目標(biāo)支持向量為所述第一測(cè)試集中利用所述第一分類模型得到的分類測(cè)試結(jié)果與預(yù)設(shè)分類不相符的支持向量；

所述服務(wù)器通過(guò)所述SVM算法對(duì)第二訓(xùn)練集進(jìn)行分析，并根據(jù)分析得到的第二分類模型對(duì)第二測(cè)試集進(jìn)行分類測(cè)試，所述第二訓(xùn)練集和所述第二測(cè)試集中的支持向量均包含所述K個(gè)特征詞中的除目標(biāo)特征詞以外的特征詞對(duì)應(yīng)的權(quán)重因子，所述目標(biāo)特征詞為所述目標(biāo)支持向量中的相對(duì)權(quán)重小于第一預(yù)設(shè)閾值的特征詞；如果通過(guò)所述第二分類模型分類測(cè)試得到的分類錯(cuò)誤率不高于目標(biāo)預(yù)設(shè)閾值時(shí)，確認(rèn)使用所述第二分類模型對(duì)待分類的文本數(shù)據(jù)進(jìn)行分類。可選的，特征詞在該目標(biāo)支持向量中的權(quán)重與該特征詞在該目標(biāo)支持向量對(duì)應(yīng)的文本數(shù)據(jù)中的出現(xiàn)的次數(shù)成正相關(guān)，該權(quán)重可以通過(guò)權(quán)重因子來(lái)表示；該特征詞在該第一訓(xùn)練集中的權(quán)重具體指該特征詞在該第一訓(xùn)練集中各個(gè)支持向量中的權(quán)重進(jìn)行加權(quán)得到的權(quán)重，例如，該第一訓(xùn)練集中包含支持向量X1、X2、X3和X4，將特征詞1在X1中的權(quán)重、特征詞1在X2中的權(quán)重、特征詞1在X3中的權(quán)重和特征詞1在X3中的權(quán)重相加，并將相加得到的值除以4得到的值為該特征詞1在該第一訓(xùn)練集中的相對(duì)權(quán)重。