[發明專利]一種基于內容的垃圾網頁檢測方法及其檢測裝置

有效

• 申請號: 201510502698.1
• 申請日: 2015-08-14
• 公開（公告）號: CN105183784B
• 公開（公告）日: 2020-04-28
• 發明（設計）人: 喻梅;孟瑩;于瑞國;周靜;雷霆;田逸塵
• 申請（專利權）人: 天津大學
• 主分類號: G06F16/9535
• 分類號: G06F16/9535;G06F16/957;G06F16/958
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

1.一種基于內容的垃圾網頁檢測方法，其特征在于，所述方法通過PageRank算法、與垃圾網頁相似度的結合實現對垃圾網頁的檢測，所述方法包括以下步驟：

計算所有網頁與種子垃圾網頁的內容最大相似度值，生成相似度集合；

利用PageRank算法對所有網頁進行降序排序；

基于排序結果，從相似度集合中查尋網頁與種子垃圾網頁間的內容相似度值；

比較相似度值與相似度閾值，對網頁進行檢測，并將檢測出的垃圾網頁加入到垃圾網頁集合中；

所述計算所有網頁與種子垃圾網頁的內容最大相似度值，生成相似度集合的步驟具體為：

采用TF-IDF詞頻從所有網頁中的關鍵詞特征、鏈接數量特征，可讀文本中提取出特征，然后利用向量空間模型將提取出的特征組成向量；

采用基于向量空間的余弦相似度計算所有網頁與種子垃圾網頁內容間的相似性，選取最大相似度值；

由最大相似度值組成相似度集合；

所述比較相似度值與相似度閾值，對網頁進行檢測，并將檢測出的垃圾網頁加入到垃圾網頁集合中的步驟具體為：

若某一網頁與種子垃圾網頁內容的相似度值大于相似度閾值，則認定網頁為垃圾網頁，并將網頁加入到垃圾網頁集合中；

挑選若干個垃圾網頁作為種子垃圾網頁；設置垃圾網頁集合的最大容量，重復進行查詢，直至達到最大容量，流程結束。

2.一種基于內容的垃圾網頁檢測裝置，其特征在于，所述垃圾網頁檢測裝置包括：

生成模塊，用于計算所有網頁與種子垃圾網頁的內容最大相似度值，生成相似度集合；

排序模塊，用于利用PageRank算法對所有網頁進行降序排序；

查詢模塊，用于基于排序結果，從相似度集合中查尋網頁與種子垃圾網頁間的內容相似度值；

檢測模塊，用于比較相似度值與相似度閾值，對網頁進行檢測，并將檢測出的垃圾網頁加入到垃圾網頁集合中；

所述生成模塊包括：

提取子模塊，用于采用統計的方法對所有網頁進行特征提取，然后利用向量空間模型將提取出的特征組成向量；

選取模塊，用于采用基于向量空間的余弦相似度方法計算所有網頁與種子垃圾網頁內容間的相似性，選取最大相似度值；

組成模塊，用于由最大相似度值組成相似度集合；

所述檢測模塊包括：檢測子模塊，用于若某一網頁與種子垃圾網頁內容的相似度值大于相似度閾值，則認定網頁為垃圾網頁，并將網頁加入到垃圾網頁集合中；

所述裝置還包括：挑選模塊，用于挑選若干個垃圾網頁作為種子垃圾網頁。