[發明專利]不良網站檢測方法及設備

有效

• 申請號: 201210104059.6
• 申請日: 2012-04-10
• 公開（公告）號: CN102663093A
• 公開（公告）日: 2012-09-12
• 發明（設計）人: 洪博;耿光剛;王利明
• 申請（專利權）人: 中國科學院計算機網絡信息中心
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F17/27
• 代理公司: 北京同立鈞成知識產權代理有限公司 11205
• 代理人: 陳鳴

1.一種不良網頁檢測方法，其特征在于，包括：

對待檢測網頁進行分詞處理，獲取所述待檢測網頁的分詞數據；

根據所述分詞數據和預先獲取的至少一個不良網頁特征詞，獲取所述待檢測網頁的不良網頁特征詞；

根據與所述待檢測網頁的不良網頁特征詞對應的不良網頁概率值，獲取所述待檢測網頁的不良網頁判定概率；

若所述不良網頁判定概率大于第一預定閾值，則判定所述待檢測網頁為不良網頁。

2.根據權利要求1所述不良網頁檢測方法，其特征在于，所述根據所述分詞數據和預先獲取的至少一個不良網頁特征詞，獲取所述待檢測網頁的不良網頁特征詞的步驟之前，還包括：

獲取不良網頁特征詞列表，所述不良網頁特征詞列表包括所述預先獲取的不良網頁特征詞，以及分別與各預先獲取的不良網頁特征詞對應的不良網頁概率值；

相應地，所述根據所述分詞數據和預先獲取的至少一個不良網頁特征詞，獲取所述待檢測網頁的不良網頁特征詞的步驟具體包括：

將所述分詞數據與預先獲取的不良網頁特征詞列表進行匹配，獲取所述分詞數據包括的不良網頁特征詞。

3.根據權利要求2所述不良網頁檢測方法，其特征在于，所述獲取不良網頁特征詞列表的步驟具體包括：

獲取不良網頁樣本集和正常網頁樣本集；

對所述正常網頁樣本集中各正常網頁樣本進行分詞處理，獲取各正常網頁樣本的分詞數據，對所述各正常網頁樣本的分詞數據進行詞頻-反文檔頻率統計，并根據所述詞頻-反文檔頻率的統計值獲取預定數量的不良網頁特征詞；

對所述不良網頁樣本集中各不良網頁樣本進行分詞處理，獲取各不良網頁樣本的分詞數據；

獲取所述預定數量的不良網頁特征詞中，各不良網頁特征詞在所述正常網頁樣本的分詞數據中出現的第一概率，以及在所述不良網頁樣本的分詞數據中出現的第二概率，并根據所述第一概率和所述第二概率獲取各不良網頁特征詞對應的不良網頁概率值；

根據所述預定數量的不良網頁特征詞和與各不良網頁特征詞對應的所述不良網頁概率值，生成所述不良網頁特征詞列表。

4.根據權利要求1-3任一所述不良網頁檢測方法，其特征在于，所述若所述不良網頁判定概率大于第一預定閾值，則判定所述待檢測網頁為不良網頁的步驟具體包括：

若所述不良網頁判定概率大于第一預定閾值，獲取各所述待檢測網頁的不良網頁特征詞的總字符長度與所述待檢測網頁的字符長度的比值；

若所述比值大于第二預定閾值，則判定所述待檢測網頁為不良網頁。

5.根據權利要求4所述不良網頁檢測方法，其特征在于，所述若所述比值大于第二預定閾值，則判定所述待檢測網頁為不良網頁具體包括：

若所述比值大于第二預定閾值，獲取所述待檢測網頁的網頁級別；

若所述網頁級別不大于第三預定閾值，則判定所述待檢測網頁為不良網頁。

6.一種不良網頁檢測設備，其特征在于，包括：

第一處理模塊，用于對待檢測網頁進行分詞處理，獲取所述待檢測網頁的分詞數據；

第二處理模塊，用于根據所述分詞數據和預先獲取的至少一個不良網頁特征詞，獲取所述待檢測網頁的不良網頁特征詞；

第三處理模塊，用于根據與所述待檢測網頁的不良網頁特征詞對應的不良網頁概率值，獲取所述待檢測網頁的不良網頁判定概率；

第四處理模塊，用于若所述不良網頁判定概率大于第一預定閾值，則判定所述待檢測網頁為不良網頁。

7.根據權利要求6所述的不良網頁檢測設備，其特征在于，還包括：

第五處理模塊，用于獲取不良網頁特征詞列表，所述不良網頁特征詞列表包括所述預先獲取的不良網頁特征詞，以及分別與各預先獲取的不良網頁特征詞對應的不良網頁概率值；

相應地，所述第二處理模塊還用于將所述分詞數據與預先獲取的不良網頁特征詞列表進行匹配，獲取所述分詞數據包括的不良網頁特征詞。