[發明專利]一種基于術語頻率和卡方統計的文本分類特征選擇方法

有效

• 申請號: 201410629761.3
• 申請日: 2014-11-10
• 公開（公告）號: CN104346459B
• 公開（公告）日: 2017-10-27
• 發明（設計）人: 馬廷淮;金傳鑫;侯榮濤;田偉;薛羽
• 申請（專利權）人: 南京信息工程大學
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 南京眾聯專利代理有限公司32206
• 代理人: 顧進,葉涓涓

1.一種基于術語頻率和卡方統計的文本分類特征選擇方法，其特征在于，包括如下步驟：

步驟(1)，對語料庫數據集進行預處理；

步驟(2)，對經過步驟(1)處理得到的數據集中的對象根據向量空間模型均表示為向量形式，得到數據對象向量集合D＝{d₁,d₂,...d_N}，類標簽集合C＝{c₁,c₂,...c_|C|}，d_j表示語料庫數據集中的一個文檔(1≤j≤N)，c_k表示語料庫數據集中的一個類，1≤k≤|C|，N表示語料庫數據集中文檔的數量，|C|表示語料庫數據集中類別的數量；

步驟(3)，計算術語t_i在文本分類c_k中的最大術語頻率和平均術語頻率

步驟(4)，通過下式計算術語t_i在c_k類中的分布差異度:

V(ti,ck)=1Nk-1Σj=1Nk(tfij-tf‾i)2+α]]>

其中，N_k表示c_k類中文檔的數量，tf_ij為術語頻率，α表示一個很小的實數；

步驟(5)，利用步驟(3)和步驟(4)得到的最大術語頻率及分布差異度，通過下式計算該術語t_i在c_k類中的權重：

ICHI(ti,ck)=log(1+tfimax)×χ2(ti,ck)V(ti,ck),]]>

其中，

χ2(ti,ck)=N×(AD-CB)2(A+C)×(B+D)×(A+B)×(C+D);]]>

上式中，A表示包含術語t_i并且屬于c_k類的文檔數量；B表示包含術語t_i但不屬于c_k類的文檔數量；C表示不包含術語t_i但屬于C_k類的文檔數量；D表示不包含術語t_i并且不屬于c_k類的文檔數量；

步驟(6)，計算得到該術語t_i在每個類中的權重，通過下式取權重最大值為術語t_i在語料庫數據集中的權重：

ICHI(ti)=maxk=1|C|{ICHI(ti,ck)};]]>

步驟(7)，計算得到每一個術語在語料庫數據集中的權重，并降序排列，選出值最大的前N個術語作為特征。