[發(fā)明專利]一種基于全覆蓋粒計算的文本特征選擇方法

在審

• 申請?zhí)枺?/td>: 201810641512.4
• 申請日: 2018-06-21
• 公開（公告）號: CN109165290A
• 公開（公告）日: 2019-01-08
• 發(fā)明（設(shè)計）人: 謝珺;鄒雪君;靳紅偉;續(xù)欣瑩
• 申請（專利權(quán)）人: 太原理工大學(xué)
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 太原市科瑞達專利代理有限公司 14101
• 代理人: 盧茂春

1.一種基于全覆蓋粒計算的文本特征選擇方法，其特征在于，具體包括以下步驟：

(1)：獲取不同類別的新聞樣本集，對新聞樣本集進行預(yù)處理，所述預(yù)處理包括分詞、去停用詞和詞性標(biāo)注；

(2)：采用改進的TFIDF方法計算特征詞的“文檔-詞頻”概率，得到“文檔-詞頻”矩陣w，然后利用全覆蓋粒計算的知識約簡算法進行特征詞約簡；

(3)：采用bLDA主題模型計算特征詞的“文檔-詞頻”概率，聯(lián)合約簡后的TFIDF算法計算的特征詞權(quán)重，得到最終的特征詞的權(quán)重并進行聚類處理。

2.如權(quán)利要求1所述的一種基于全覆蓋粒計算的文本特征選擇方法，其特征在于所述的對新聞樣本集進行預(yù)處理，是對新聞文本的標(biāo)題和正文分別分詞。

3.如權(quán)利要求1所述的一種基于全覆蓋粒計算的文本特征選擇方法，其特征在于：所述改進的TFIDF算法的公式如下：

其中

其中λ_j表示詞j的詞性權(quán)重系數(shù)，當(dāng)λ的不同取值分別為名詞、動詞、其他詞的權(quán)重系數(shù)，t_k表示第i篇文檔中詞j的詞頻，u₁,u₂分別表示標(biāo)題和正文中詞的權(quán)重系數(shù)，分別表示詞j在標(biāo)題和正文中的詞頻，l表示第i篇文檔中所有詞的總數(shù)。

4.如權(quán)利要求1所述的一種基于全覆蓋粒計算的文本特征選擇方法，其特征在于TFIDF算法的公式如下：

式中t_j表示第m篇文檔中詞t的詞頻，N表示文檔總數(shù)，n_j表示包含詞t的文檔數(shù)，分母為歸一化因子。

5.如權(quán)利要求1所述的一種基于全覆蓋粒計算的文本特征選擇方法，其特征在于：“文檔-詞頻”概率p大于0時，矩陣w為1，“文檔-詞頻”概率p大于0時，矩陣w為0，實現(xiàn)對文檔的粒度化。

6.如權(quán)利要求1～5任一項所述的一種基于全覆蓋粒計算的文本特征選擇方法，其特征在于，全覆蓋粒計算模型如下：

設(shè)是非空論域_U上的一個全覆蓋，全覆蓋P＝{C_j:j＝1,…,n}，定義粒G_x的中心、全覆蓋粒C的中心、P的全覆蓋粒度熵分別為：

center_C(x)＝∩{N_C(x)|x∈N_C(x),N_C(x)∈G_x}center(C)＝{center_C(x)|x∈U}

C的核定義為：

7.如權(quán)利要求4所述的一種基于全覆蓋粒計算的文本特征選擇方法，其特征在于，基于全覆蓋粒計算的特征約簡步驟如下：

(1)：計算特征詞集D的中心center(D)，并計算出D的粒度熵I(D)。

(2)：令約簡后的特征詞集core(D)＝φ，計算特征詞集中的文檔集D_i∈D在特征詞集D中的重要度若則core(D)＝core(D)∪{D_i}。

(3)：計算此時I(Core(D))＝I(D)是否成立，若成立則終止步驟，此時core(D)為特征詞集D的最小粒約簡；否則，若I(core(D))＜I(D)，執(zhí)行步驟4。

(4)：令P＝core(D)。

(5)：計算詞包含的文檔集D_t∈D-P相對于特征詞集D的相對重要度Sig_P(D_t)，找出滿足的文檔集D_t，添加到P中，P＝P∪{D}。

(6)：計算此時I(P)＝I(D)是否成立，若成立則終止步驟，此時的P即為特征詞集D的一個約簡；否則返回上一步驟。