[發明專利]網絡爬蟲方法、終端及存儲介質

有效

• 申請號: 201810349987.6
• 申請日: 2018-04-18
• 公開（公告）號: CN108551452B
• 公開（公告）日: 2021-01-08
• 發明（設計）人: 阮曉雯;徐亮;肖京
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L12/24;G06F16/953
• 代理公司: 深圳市賽恩倍吉知識產權代理有限公司 44334
• 代理人: 楊毅玲;劉麗華

1.一種網絡爬蟲方法，其特征在于，所述方法包括：

將每隔預設時間段獲取的多個代理IP存儲于預先設置的代理IP池中；

對所述代理IP池中的每個代理IP進行逐個驗證，當驗證代理IP首次訪問搜索引擎得到所述搜索引擎的響應時，確定所驗證的代理IP具有第一有效性，當驗證代理IP首次訪問搜索引擎沒有得到所述搜索引擎的響應時，確定所驗證的代理IP不具有第一有效性，根據代理IP的訪問成功率和訪問響應時間判斷具有所述第一有效性的代理IP是否具有第二有效性；

將確定具有所述第二有效性的代理IP記錄于所述代理IP池中的白名單中，將確定不具有所述第一有效性及具有所述第一有效性但不具有所述第二有效性的代理IP記錄于所述代理IP池中的黑名單中，所述白名單中還記錄具有所述第二有效性的代理IP訪問的搜索引擎的類型；

當偵測到當前的代理IP滿足預先設置的代理替換條件時，根據當前訪問的搜索引擎類型從所述代理IP池中的所述白名單中對應所述訪問的搜索引擎類型的代理IP中選取出一個代理IP；及

將選取出的代理IP作為新的代理IP進行數據爬取。

2.如權利要求1所述的方法，其特征在于，所述根據代理IP的訪問成功率和訪問響應時間判斷具有所述第一有效性的代理IP是否具有第二有效性包括：

使用具有所述第一有效性的代理IP多次訪問多個搜索引擎，計算所述具有第一有效性的代理IP的訪問成功率及訪問響應時間；

判斷所述具有第一有效性的代理IP的訪問成功率是否大于預先設置的訪問成功率閾值，同時判斷所述具有第一有效性的代理IP的訪問響應時間是否小于預先設置的訪問響應時間閾值；

當所述具有第一有效性的代理IP的訪問成功率大于所述預先設置的訪問成功率閾值且訪問響應時間小于所述預先設置的訪問響應時間閾值時，確定所述具有第一有效性的代理IP具有第二有效性；

當所述具有第一有效性的代理IP的訪問成功率小于或等于所述預先設置的訪問成功率閾值，或訪問響應時間大于或等于所述預先設置的訪問響應時間閾值時，確定所述具有第一有效性的代理IP不具有第二有效性。

3.如權利要求1所述的方法，其特征在于，所述將確定不具有第一有效性及具有所述第一有效性但不具有所述第二有效性的代理IP記錄于所述代理IP池中的黑名單中包括：

將確定具有所述第一有效性但不具有所述第二有效性的代理IP記錄于所述黑名單中的第一黑名單子列表中，將確定不具有所述第一有效性的代理IP記錄于所述黑名單中的第二黑名單子列表中；

使用不具有所述第一有效性的代理IP多次訪問多個搜索引擎，計算不具有所述第一有效性的代理IP的訪問失敗率；

判斷不具有所述第一有效性的代理IP的訪問失敗率是否小于預先設置的訪問失敗率；

當不具有所述第一有效性的代理IP的訪問失敗率小于所述預先設置的訪問失敗率時，將對應的不具有所述第一有效性的代理IP確認為暫時無效的代理IP，并記錄于所述第一黑名單子列表中；或

當不具有所述第一有效性的代理IP的訪問失敗率大于所述預先設置的訪問失敗率時，將對應的不具有所述第一有效性的代理IP確認為永久無效的代理IP，并記錄于所述第二黑名單子列表中。

4.如權利要求1至3任意一項所述的方法，其特征在于，所述方法還包括：

根據代理IP的訪問成功率及訪問響應時間，對代理IP設置多個有效級別，將所述多個有效級別及其對應的代理IP記錄于所述白名單中。

5.如權利要求4所述的方法，其特征在于，所述對代理IP設置多個有效級別包括：

將訪問成功率大于預先設置的第一訪問成功率及訪問響應時間大于預先設置的第一訪問響應時間對應的代理IP作為第一有效級別的代理IP；

將訪問成功率小于預先設置的第一訪問成功率但大于預先設置的第二訪問成功率閾值，訪問響應時間小于預先設置的第一訪問響應時間但大于預先設置的第二訪問響應對應的代理IP作為第二有效級別的代理IP；

將訪問成功率小于預先設置的第二訪問成功率及訪問響應時間小于預先設置的第二訪問響應時間對應的代理IP作為第三有效級別的代理IP。