[發明專利]基于特征二維信息增益加權的樸素貝葉斯文本分類方法

有效

• 申請號: 201810019705.6
• 申請日: 2018-01-09
• 公開（公告）號: CN108460080B
• 公開（公告）日: 2020-12-08
• 發明（設計）人: 張昀;于舒娟;何偉;朱文峰;金海紅;董茜茜
• 申請（專利權）人: 南京郵電大學;南京郵電大學南通研究院有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

1.基于特征二維信息增益加權的樸素貝葉斯文本分類方法，其特征在于，所述方法包括如下步驟：

步驟A，根據貝葉斯定理計算得到后驗概率P(C_j|D_i)：

式中，P(C_j)表示類別C_j出現的概率，C_j表示第j個類別；

D_i＝{t₁,t₂...t_m}表示文檔D_i所包含的特征詞，m表示特征詞數量，i為自然數；

P(D_i)＝P(t₁,t₂...t_m)表示各特征詞的聯合分布概率，是一個常數；

P(D_i|C_j)為文檔D_i屬于類別C_j的概率；

所述樸素貝葉斯文本分類就是求解P(C_j|D_i)最大值，根據特征獨立性假設，求解轉化為：

式中，t_k∈{t₁,t₂...t_m}表示文檔D_i包含的特征詞，1≤k≤m；

表示求表達式的最大值；

C＝{C₁,C₂,...,C_j,...,C_V}，j表示自然數，V表示總的類別數；

表示最終的分類結果，其值等于P(C_j|D_i)的最大值；

表示對表達式求積；

P(t_k|C_j)表示特征詞t_k屬于類別C_j的概率；

步驟B，計算特征類別概率P(t_k,C_j)：

tf(t_k,C_j)表示特征詞t_k在C_j類中的出現的頻數；

L＝0.01為平滑因子；

步驟C，計算特征文檔概率：

其中，

表示含有特征詞t_k的文檔；

表示含有特征詞t_k的文檔在類別C_j中出現的篇數；

L＝0.01為平滑因子，V表示總的類別數；

步驟D，計算特征類別信息增益IGC:

步驟E，計算特征文檔信息增益IGD：

其中，lb(·)表示以2為底的對數；

E(C_j)為類別C_j的信息熵；

E(C_j|t_k)表示特征詞t_k的類別條件信息熵；

表示特征詞t_k的文檔條件信息熵；

P(t_k,C_j)，分別為上文求出的特征類別概率和特征文檔概率；

步驟F，進行線性歸一化處理，得到特征二維信息增益：

其中，

max(·)表示求表達式的最大值；

min(·)表示求表達式的最小值；

步驟G，對樸素貝葉斯模型進行加權，得到加權樸素貝葉斯模型：

其中，W_k表示對應特征詞t_k的加權值，作為條件概率的冪次方；由于大多數的概率都很小，為了避免出現下溢，對決策規則取對數：

其中ln表示自然對數；

步驟H，將特征二維信息增益與加權樸素貝葉斯模型結合，得到基于特征二維信息增益加權的樸素貝葉斯文本分類方法的模型：