[發明專利]重復網頁識別方法和裝置

有效

• 申請號: 201410324553.2
• 申請日: 2014-07-08
• 公開（公告）號: CN104063506B
• 公開（公告）日: 2017-04-12
• 發明（設計）人: 李羽;顏俊偉;李浩
• 申請（專利權）人: 百度在線網絡技術（北京）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京品源專利代理有限公司11332
• 代理人: 鄧猛烈,胡彬

1.一種重復網頁識別方法，其特征在于，包括：

從互聯網網頁中識別至少一組原始重復網頁，并將所述至少一組原始重復網頁存儲至重復網頁集合；

依據互聯網網頁的鏈接關系，從與所述至少一組原始重復網頁有鏈接關系的網頁中迭代的識別候選重復網頁，并將所述候選重復網頁存儲至重復網頁集合。

2.根據權利要求1所述的方法，其特征在于，在依據互聯網網頁的鏈接關系，從與所述至少一組原始重復網頁有鏈接關系的網頁中迭代的識別候選重復網頁，并將所述候選重復網頁存儲至重復網頁集合之后，還包括：

對所述重復網頁集合中的重復網頁是否重復進行驗證。

3.根據權利要求1或2所述的方法，其特征在于，從互聯網網頁中識別至少一組原始重復網頁，并將所述至少一組原始重復網頁存儲至重復網頁集合包括：

根據互聯網網頁鏈接關系庫獲取設定網頁資源的至少兩個反向鏈接網頁的錨文本以及鏈接地址；

將反向鏈接網頁中相同反向鏈接數量超過預定相同反向鏈接數量閾值，并且錨文本相似度超過錨文本相似度閾值的反向鏈接網頁作為重復網頁組；

計算所述重復網頁組中網頁的網頁相似度，并將相似度滿足設定閾值的網頁作為一組原始重復網頁。

4.根據權利要求3所述的方法，其特征在于，所述錨文本相似度是錨文本代碼中相同代碼占全部錨文本代碼的比率。

5.根據權利要求1或2所述的方法，其特征在于，從與所述至少一組原始重復網頁有鏈接關系的網頁中識別候選重復網頁，并將所述候選重復網頁存儲至重復網頁集合包括：

將所述至少一組原始重復網頁作為當前網頁，根據當前網頁上的錨文本識別無效鏈接，并將所述無效鏈接從當前網頁上去除；

獲取當前網頁中XPATH相同、錨文本相同或相近的重復鏈接；

將所述重復鏈接指向的網頁作為候選重復網頁存儲至重復網頁集合；

將所述候選重復網頁作為當前網頁，返回執行所述去除無效鏈接的操作，直至獲取到的新的候選重復網頁的數量小于或等于設定穩定值。

6.根據權利要求2所述的方法，其特征在于，對所述重復網頁集合中的重復網頁是否重復進行驗證包括：

抓取所述重復網頁集合中重復網頁的代碼；

根據所述重復網頁的代碼計算重復網頁的網頁相似度；

確認網頁相似度高于相似度閾值的重復網頁作為實際重復網頁。

7.根據權利要求6所述的方法，其特征在于，所述網頁相似度是網頁代碼中相同代碼占全部網頁代碼的比率。

8.一種重復網頁識別裝置，其特征在于，包括：

原始重復網頁識別模塊，用于從互聯網網頁中識別至少一組原始重復網頁，并將所述至少一組原始重復網頁存儲至重復網頁集合；

候選重復網頁識別模塊，用于依據互聯網網頁的鏈接關系，從與所述至少一組原始重復網頁有鏈接關系的網頁中迭代的識別候選重復網頁，并將所述候選重復網頁存儲至重復網頁集合。

9.根據權利要求8所述的裝置，其特征在于，還包括：

重復網頁驗證模塊，用于在從與所述至少一組原始重復網頁有鏈接關系的網頁中識別重復網頁，并將該重復網頁存儲至重復網頁集合之后，對所述重復網頁集合中的重復網頁是否重復進行驗證。

10.根據權利要求8或9所述的裝置，其特征在于，所述原始重復網頁識別模塊包括：

特征提取單元，用于根據互聯網網頁鏈接關系庫獲取設定網頁資源的至少兩個反向鏈接網頁的錨文本以及鏈接地址；

重復網頁組確定單元，用于將反向鏈接網頁中相同反向鏈接數量超過預定相同反向鏈接數量閾值，并且錨文本相似度超過錨文本相似度閾值的反向鏈接網頁作為重復網頁組；

重復網頁確定單元，用于計算所述重復網頁組中網頁的網頁相似度，并將相似度滿足設定閾值的網頁作為一組原始重復網頁。

11.根據權利要求10所述的裝置，其特征在于，所述錨文本相似度是錨文本代碼中相同代碼占全部錨文本代碼的比率。