[發明專利]垃圾文本庫的建立方法、過濾方法及系統

有效

• 申請號: 201611085764.0
• 申請日: 2016-11-30
• 公開（公告）號: CN106708961B
• 公開（公告）日: 2020-11-06
• 發明（設計）人: 張凱
• 申請（專利權）人: 北京粉筆藍天科技有限公司
• 主分類號: G06F16/35
• 分類號: G06F16/35
• 代理公司: 北京中政聯科專利代理事務所(普通合伙) 11489
• 代理人: 陳超

1.一種垃圾文本庫的建立方法，其特征在于，包括：

S100：從文本中獲取至少一個基于用戶反應而預先采集的垃圾文本樣本；

S200：檢測每個所述垃圾文本樣本中是否存在長特征詞，包括：基于分詞算法對每個所述垃圾文本樣本進行分詞后得到分詞結果，基于預存的停用詞表去掉所述分詞結果中的停用詞，基于textrank算法，從去掉停用詞的分詞結果中選出預定數量的特征詞，基于前綴匹配算法檢測所述預定數量的所述特征詞中是否存在所述長特征詞，若存在，則將該所述長特征詞錄入長特征詞集；S300：基于貝葉斯分類器對所述長特征詞集對應的所述垃圾文本樣本進行分類，得到垃圾特征詞集和非垃圾特征詞集，包括：基于式(1)計算所述長特征詞集中每個所述長特征詞的權重，將所述特征詞集中每個所述特征詞的權重輸入至所述貝葉斯分類器，以對所述長特征詞集進行分類，得到垃圾特征詞集和非垃圾特征詞集；

式(1)為：W3＝(W1+W2)*(1-P3)/(1-P1)*(1-P2)，

其中，P3、P2、P1分別為詞語3、詞語2、詞語1在所述垃圾文本中出現的概率；W3、W2、W1分別為詞語3、詞語2、詞語1在所述垃圾文本中出現的權重；

S400：將所述垃圾文本新增的數量與預設的收斂閾值進行比較，若所述垃圾文本新增的數量小于所述收斂閾值，則執行步驟500；否則，則執行步驟600；

S500：垃圾文本庫建立完畢，結束流程；

S600：從所述文本中獲取新的至少一個垃圾文本樣本，返回執行步驟S200至步驟S500。

2.根據權利要求1所述的方法，其中，所述基于分詞算法對每個所述垃圾文本樣本進行分詞，包括：利用維特比分詞器對每個所述垃圾文本樣本進行分詞。

3.一種對垃圾文本進行過濾的方法，其特征在于，采用權利要求1-2任一項所述的垃圾文本庫的建立方法建立垃圾文本庫對垃圾文本進行過濾。

4.一種建立垃圾文本庫的系統，其特征在于，包括：

獲取模塊(100)：用于從文本中獲取預先采集的至少一個垃圾文本樣本；

檢測模塊(200)：用于檢測每個所述垃圾文本樣本中是否存在長特征詞，若存在，則將該所述長特征詞錄入長特征詞集；

所述檢測模塊(200)包括：分詞單元(201)，用于基于分詞算法對每個所述垃圾文本樣本進行分詞，得到分詞結果；停用詞過濾單元(202)，用于基于預存的停用詞表去掉所述分詞結果中的停用詞；特征詞選取單元(203)，用于基于textrank算法，從去掉停用詞的分詞結果中選出預定數量的特征詞；長特征詞檢測單元(204)，基于前綴匹配算法檢測所述預定數量的特征詞中是否存在所述長特征詞；

分類模塊(300)：基于貝葉斯分類器對所述長特征詞集對應的垃圾文本樣本進行分類，得到垃圾特征詞集和非垃圾特征詞集；

所述包括分類模塊(300)包括：計算單元(301)，用于計算所述長特征詞集中每個所述長特征詞的權重；分類單元(302)，用于將所述特征詞集中每個所述特征詞的權重輸入至所述貝葉斯分類器，以對所述長特征詞集進行分類，得到所述垃圾特征詞集和所述非垃圾特征詞集；

所述計算單元(301)基于式(1)計算所述長特征詞集中每個長特征詞的權重；式(1)為：W3＝(W1+W2)*(1-P3)/(1-P1)*(1-P2)，

其中，P3、P2、P1分別為詞語3、詞語2、詞語1在所述垃圾文本中出現的概率，W3、W2、W1分別為詞語3、詞語2、詞語1在所述垃圾文本中出現的權重；

判斷模塊(400)：用于將所述垃圾文本新增的數量與預設的收斂閾值進行比較，若所述垃圾文本新增的數量小于所述收斂閾值，則垃圾文本庫建立完畢；否則，從所述文本中選取新的垃圾文本樣本輸入至所述檢測模塊(200)。

5.根據權利要求4所述的系統，其特征在于，檢測模塊(200)還用于，利用維特比分詞器對每個所述垃圾文本樣本進行分詞。