[發明專利]網頁URL過濾方法、裝置及系統

在審

• 申請號: 201310547585.4
• 申請日: 2013-11-06
• 公開（公告）號: CN104636340A
• 公開（公告）日: 2015-05-20
• 發明（設計）人: 蔡兵
• 申請（專利權）人: 騰訊科技(深圳)有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;H04L29/06
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

1.一種網頁URL過濾方法，其特征在于，包括：

獲取預先收集的同一網頁的URL數據集；

當所述URL數據集中包含多個URL時，對所述URL數據集中的每一URL進行字段拆分及分析；

根據字段拆分及分析結果，去掉其中的無關字段，生成所述網頁的唯一URL。

2.根據權利要求1所述的方法，其特征在于，所述獲取預先收集的同一網頁的URL數據集的步驟包括：

基于網頁文檔編號從瀏覽器后臺獲取所述瀏覽器后臺收集的同一網頁的URL數據。

3.根據權利要求1所述的方法，其特征在于，所述對URL數據集中的每一URL進行字段拆分及分析的步驟包括：

對所述URL數據集中的每一URL，獲取其中的分隔符；

通過所述分隔符對每一URL進行字段拆分，得到每一URL中的所有字段；

分析每一URL中的每一字段，當所述字段在所述URL數據集中的每一URL中都出現，則判定其為必備字段；當所述字段在所述URL數據集中至少一個URL中沒有出現，則判定其為無關字段。

4.根據權利要求2或3所述的方法，其特征在于，還包括：

對生成的所述網頁的唯一URL進行校驗。

5.根據權利要求4所述的方法，其特征在于，所述對生成的所述網頁的唯一URL進行校驗的步驟包括：

跳轉所述唯一URL，獲取返回的網頁內容；

根據所述網頁內容并基于哈希算法，計算獲取所述網頁內容對應的網頁文檔編號；

將獲取的所述網頁內容對應的網頁文檔編號與所述唯一URL的原始網頁文檔編號進行對比；若兩者相同，則判定所述唯一URL有效，否則判定所述唯一URL無效。

6.根據權利要求5所述的方法，其特征在于，還包括：

當判定所述唯一URL無效時，向數據監控平臺上報字段過濾出錯信息。

7.一種過濾網頁URL的裝置，其特征在于，包括：

URL數據獲取模塊，用于獲取預先收集的同一網頁的URL數據集；

字段拆分及分析模塊，用于當所述URL數據集中包含多個URL時，對所述URL數據集中的每一URL進行字段拆分及分析；

生成模塊，用于根據字段拆分及分析結果，去掉其中的無關字段，生成所述網頁的唯一URL。

8.根據權利要求7所述的裝置，其特征在于，

所述URL數據獲取模塊，還用于基于網頁文檔編號從瀏覽器后臺獲取所述瀏覽器后臺收集的同一網頁的URL數據。

9.根據權利要求8所述的裝置，其特征在于，所述字段拆分及分析模塊包括：

分隔符獲取單元，用于對所述URL數據集中的每一URL，獲取其中的分隔符；

拆分單元，用于通過所述分隔符對每一URL進行字段拆分，得到每一URL中的所有字段；

分析判斷單元，用于分析每一URL中的每一字段，當所述字段在所述URL數據集中的每一URL中都出現，則判定其為必備字段；當所述字段在所述URL數據集中至少一個URL中沒有出現，則判定其為無關字段。

10.根據權利要求8或9所述的裝置，其特征在于，還包括：

校驗模塊，用于對生成的所述網頁的唯一URL進行校驗；所述校驗模塊具體包括：

網頁內容獲取單元，用于跳轉所述唯一URL，獲取返回的網頁內容；

計算單元，用于根據所述網頁內容并基于哈希算法，計算獲取所述網頁內容對應的網頁文檔編號；

比較判斷單元，用于將獲取的所述網頁內容對應的網頁文檔編號與所述唯一URL的原始網頁文檔編號進行對比；若兩者相同，則判定所述唯一URL有效，否則判定所述唯一URL無效。

11.根據權利要求10所述的裝置，其特征在于，還包括：

上報模塊，用于當所述校驗模塊判定所述唯一URL無效時，向數據監控平臺上報字段過濾出錯信息。

12.一種過濾網頁URL的系統，其特征在于，包括瀏覽器和與所述瀏覽器通信連接的數據監控平臺，其中：

所述瀏覽器包括權利要求7-11中任一項所述的裝置；

所述數據監控平臺，用于當所述瀏覽器判定生成的唯一URL無效時上報的字段過濾出錯信息。