[發(fā)明專利]一種基于術(shù)語頻率和卡方統(tǒng)計(jì)的文本分類特征選擇方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201410629761.3
• 申請(qǐng)日: 2014-11-10
• 公開（公告）號(hào): CN104346459B
• 公開（公告）日: 2017-10-27
• 發(fā)明（設(shè)計(jì)）人: 馬廷淮;金傳鑫;侯榮濤;田偉;薛羽
• 申請(qǐng)（專利權(quán)）人: 南京信息工程大學(xué)
• 主分類號(hào): G06F17/30
• 分類號(hào): G06F17/30
• 代理公司: 南京眾聯(lián)專利代理有限公司32206
• 代理人: 顧進(jìn),葉涓涓

技術(shù)領(lǐng)域

本發(fā)明屬于文本挖掘與信息檢索領(lǐng)域，具體涉及的是一種基于術(shù)語頻率和卡方統(tǒng)計(jì)的文本分類特征選擇方法。

背景技術(shù)

文本分類(Text Classification或Text Categorization)是預(yù)先設(shè)定的類別集合，根據(jù)文本內(nèi)容確定文本所屬類型。在文本分類中，通常用向量空間模型作為文本的表示模型，該模型是應(yīng)用效果最好的文本表示模型之一；文本中的詞或詞組作為特征，但是在大量的特征中，存在很多冗余特征和噪聲特征，而龐大的特征空間維數(shù)會(huì)降低分類器的性能和泛化能力，產(chǎn)生“過學(xué)習(xí)”現(xiàn)象。同時(shí)，處理高維向量需要極高的時(shí)間復(fù)雜度，進(jìn)而會(huì)產(chǎn)生“維數(shù)災(zāi)難”。因此，我們需要通過特征降維，來提高分類器的效率和精度，特征降維分為特征選擇和特征提取。

特征選擇是目前最常用的降維方法，其本質(zhì)是從一個(gè)高維空間根據(jù)某種準(zhǔn)則變換到一個(gè)較低維的空間，并且使得該低維空間有比較好的類別可分性，從而提高分類器的分類效率和精度。比較常用的特征選擇方法主要有文檔頻率(document frequency，DF)、互信息(mutual information，MI)、期望交叉熵(expected cross entropy，ECE)、卡方統(tǒng)計(jì)(Chi-square statistic，CHI)、信息增益(information gain，IG)等；近年來國內(nèi)外學(xué)者還提出了其他的特征選擇方法，例如，張玉芳等人提出了綜合比率(CR)方法，通過把數(shù)據(jù)集分成正類和負(fù)類，綜合考慮特征項(xiàng)在正類和負(fù)類中的分布，結(jié)合四種衡量特征類別區(qū)分能力的指標(biāo)，構(gòu)造了CR特征選擇方法來選擇特征；馮霞等人提出了基于假設(shè)檢驗(yàn)的選擇方法，利用特征與文檔類在term-category四格表中相互獨(dú)立與互不相關(guān)等價(jià)的性質(zhì)來選擇特征。美國卡內(nèi)基梅隆大學(xué)的Yang教授針對(duì)文本分類問題，在分析比較了DF、MI、IG、CHI等方法后，得出IG和CHI方法分類效果相對(duì)較好的結(jié)論，并且，CHI和IG在多次的實(shí)驗(yàn)中表現(xiàn)出了良好的準(zhǔn)確性。但是上述這些特征選擇方法都具有缺陷，比如卡方統(tǒng)計(jì)方法對(duì)低頻詞的倚重大，不能很好地過濾低頻詞中的噪音詞。

發(fā)明內(nèi)容

我們通過分析發(fā)現(xiàn)，現(xiàn)有卡方統(tǒng)計(jì)方法只考慮了特征詞的文檔頻率，并沒有考慮特征的術(shù)語詞頻，所以夸大了低頻術(shù)語的作用。例如傳統(tǒng)卡方統(tǒng)計(jì)方法只統(tǒng)計(jì)文檔中是否出現(xiàn)術(shù)語t，并沒有考慮術(shù)語t在文檔中出現(xiàn)的次數(shù)，致使傳統(tǒng)方法更傾向于選擇文檔頻率高的特征，忽略了文檔頻率較低但是詞頻較高的詞匯的貢獻(xiàn)度，此外，傳統(tǒng)卡方統(tǒng)計(jì)方法沒有考慮術(shù)語的分布差異度的問題。基于上述問題，本發(fā)明公開了一種基于術(shù)語頻率和卡方統(tǒng)計(jì)的文本分類特征選擇方法，利用最大術(shù)語頻率來修正傳統(tǒng)卡方統(tǒng)計(jì)方法對(duì)術(shù)語頻率低但文檔頻率高的術(shù)語的偏袒；同時(shí)利用平均術(shù)語頻率和統(tǒng)計(jì)學(xué)上的標(biāo)準(zhǔn)方差的方法，來修正傳統(tǒng)卡方統(tǒng)計(jì)方法未考慮分布差異度的缺陷。

為了達(dá)到上述目的，本發(fā)明提供如下技術(shù)方案：

一種基于術(shù)語頻率和卡方統(tǒng)計(jì)的文本分類特征選擇方法，包括如下步驟：

步驟(1)，對(duì)語料庫數(shù)據(jù)集進(jìn)行預(yù)處理；

步驟(2)，對(duì)經(jīng)過步驟(1)處理得到的數(shù)據(jù)集中的對(duì)象根據(jù)向量空間模型均表示為向量形式，得到數(shù)據(jù)對(duì)象向量集合D＝{d₁,d₂,...d_N}，類標(biāo)簽集合C＝{c₁,c₂,...c_|C|}，d_j表示語料庫數(shù)據(jù)集中的一個(gè)文檔(1≤j≤N)，c_k表示語料庫數(shù)據(jù)集中的一個(gè)類；

步驟(3)，計(jì)算術(shù)語t_i在文本分類c_k中的最大術(shù)語頻率和平均術(shù)語頻率

步驟(4)，通過下式計(jì)算術(shù)語t_i在c_k類中的分布差異度:

其中，α表示一個(gè)很小的實(shí)數(shù)；

步驟(5)，利用步驟(3)和步驟(4)得到的最大術(shù)語頻率及分布差異度，通過下式計(jì)算該術(shù)語t_i在c_k類中的權(quán)重：

其中，

步驟(6)，計(jì)算得到該術(shù)語t_i在每個(gè)類中的權(quán)重，通過下式得到術(shù)語t_i在語料庫數(shù)據(jù)集中的權(quán)重：

步驟(7)，計(jì)算得到每一個(gè)術(shù)語在語料庫數(shù)據(jù)集中的權(quán)重，并降序排列，選出值最大的前N個(gè)術(shù)語作為特征。