[發(fā)明專利]一種基于指導(dǎo)的文本特征加權(quán)方法

無(wú)效

• 申請(qǐng)?zhí)枺?/td>: 201210063879.5
• 申請(qǐng)日: 2012-03-12
• 公開(kāi)（公告）號(hào): CN102662976A
• 公開(kāi)（公告）日: 2012-09-12
• 發(fā)明（設(shè)計(jì)）人: 劉端陽(yáng);陸洋
• 申請(qǐng)（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 杭州天正專利事務(wù)所有限公司 33201
• 代理人: 王兵;王利強(qiáng)

技術(shù)領(lǐng)域

本發(fā)明涉及文本分類方法，尤其是一種文本特征加權(quán)方法。

背景技術(shù)

隨著互聯(lián)網(wǎng)應(yīng)用的普及，網(wǎng)絡(luò)中已存儲(chǔ)了海量的文本信息，人們迫切地需要從文本中挖掘出有用的信息。文本挖掘就是指從大量文本數(shù)據(jù)中抽取事先未知的、可理解的、最終可用的信息或知識(shí)的過(guò)程。??文本分類是在給定的類別體系下，根據(jù)文本內(nèi)容自動(dòng)確定所屬類別的過(guò)程。文本分類中一個(gè)重要組成部分是文本表示，文本表示中最常用的是向量空間模型(Vector?Space?Model，VSM)，VSM是文本表示的一個(gè)統(tǒng)計(jì)模型，它把文檔看成是由特征向量組成的，而每個(gè)特征向量可以是詞也可以是短語(yǔ)，并且每個(gè)特征向量都含有權(quán)重，從而將文本的分類問(wèn)題轉(zhuǎn)化為向量空間中的向量匹配問(wèn)題進(jìn)行處理。轉(zhuǎn)化為特征向量后，便可以使用常用的分類算法進(jìn)行文本分類，如支持向量機(jī)、K近鄰等。

文本表示中的一個(gè)重要問(wèn)題就是選擇哪些特征向量能最好的來(lái)代表文本，并且要去除那些沒(méi)有代表價(jià)值的特征向量。通常文本分類的一般過(guò)程為：分詞、去停用詞、索引、統(tǒng)計(jì)、特征提取、特征加權(quán)、分類訓(xùn)練以及評(píng)估。

其中文本特征加權(quán)是整個(gè)處理過(guò)程中比較重要的一環(huán)。基于統(tǒng)計(jì)的文本特征加權(quán)，主要分為兩大類：即有指導(dǎo)的特征加權(quán)方法(supervised?term?weighting?method)和無(wú)指導(dǎo)的特征加權(quán)方法(unsupervised?term?weighting?method)。現(xiàn)在比較普遍使用的是詞頻反文檔頻率加權(quán)方法(term?frequency?and?inverse?document?frequency，tf.idf)，它屬于無(wú)指導(dǎo)的特征加權(quán)方法。

目前，國(guó)內(nèi)外都提出了不少關(guān)于特征加權(quán)的改進(jìn)方法，包括有指導(dǎo)的和無(wú)指導(dǎo)的特征加權(quán)方法。薛小兵將文本詞的分布密集性，文本長(zhǎng)度以及詞第一次出現(xiàn)的位置作為特征加權(quán)的主要考慮因素。然而無(wú)指導(dǎo)的特征加權(quán)方法并沒(méi)有考慮特征在訓(xùn)練集各文檔以及各類別中分布比例上的差異對(duì)分類的影響。相反有指導(dǎo)的特征加權(quán)方法正是考慮到了這一點(diǎn)。李凱齊首先指出了tf.idf方法的不足，在基于有指導(dǎo)的方法基礎(chǔ)上，將信息增益結(jié)合tf.idf來(lái)改進(jìn)文本特征加權(quán)。Man?Lan則考慮了詞在正類和反類中的比例關(guān)系，認(rèn)為只要正類比反類占的比例越高，該詞就越能代表正類，就具有越高的權(quán)值。

發(fā)明內(nèi)容

為了克服現(xiàn)有文本特征加權(quán)方法的分類性能較差的不足，本發(fā)明提供一種提升分類性能的基于指導(dǎo)的文本特征加權(quán)方法

為了解決上述技術(shù)問(wèn)題采用的技術(shù)手段為：

一種基于指導(dǎo)的文本特征加權(quán)方法，進(jìn)行文本特征提取后得到a，b，c，d四類文檔數(shù)，分別代表如下：

a表示含詞項(xiàng)t且屬于正例的文檔數(shù)；

b表示不含詞項(xiàng)t但屬于正例的文檔數(shù)；

c表示含詞項(xiàng)t但不屬于正例的文檔數(shù)；

d表示不含詞項(xiàng)t且不屬于正例的文檔數(shù)。

a，b，c，d的總和為N，即總文檔數(shù)；

所述文本特征加權(quán)公式如下：

ridf=log2=(2+(amax(1,c))K)---(1)]]>

其中K表示為：