[發明專利]一種管理爬蟲代理的方法及裝置

在審

• 申請號: 201710208203.3
• 申請日: 2017-03-31
• 公開（公告）號: CN107169006A
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 帥偉良
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙)11413
• 代理人: 馬敬,項京

1.一種管理爬蟲代理的方法，其特征在于，所述方法包括：

獲取并根據攜帶有待更新代理的指令，得到所述待更新代理的代理信息，其中，所述待更新代理的代理信息至少包括：所述待更新代理的IP地址、所述待更新代理的名稱及所述待更新代理的端口，所述待更新代理的指令為待新增代理的指令和/或待刪除代理的指令；

更新所述待更新代理的代理信息，并更新所述待更新代理到代理池。

2.根據權利要求1所述的管理爬蟲代理的方法，其特征在于，所述獲取并根據攜帶有待更新代理的指令，得到所述待更新代理的代理信息，包括：

獲取并根據攜帶有所述待更新代理的指令，在所述待更新代理的指令為所述待新增代理的指令時，得到所述待新增代理的代理信息，其中，所述待新增代理的代理信息至少包括：所述待新增代理的IP地址、所述待新增代理的名稱及所述待新增代理的端口；

相應的，所述更新所述待更新代理的代理信息，并更新所述待更新代理到代理池，包括：

添加所述待新增代理的代理信息，并添加所述待新增代理到所述代理池。

3.根據權利要求2所述的管理爬蟲代理的方法，其特征在于，在所述獲取并根據攜帶有所述待更新代理的指令，在所述待更新代理的指令為所述待新增代理的指令時，得到所述待新增代理的代理信息之后，所述的管理爬蟲代理的方法還包括：

根據所述待新增代理的代理信息，向所述待新增代理發送下載第一指定內容的第一下載指令；

在所述待新增代理根據所述第一下載指令成功下載所述第一指定內容時，則所述待新增代理為可用代理；

相應的，所述添加所述待新增代理的代理信息，并添加所述待新增代理到所述代理池，包括：

在所述待新增代理為可用代理時，添加所述可用代理的代理信息，并添加所述可用代理到所述代理池。

4.根據權利要求1所述的管理爬蟲代理的方法，其特征在于，所述獲取并根據攜帶有待更新代理的指令，得到所述待更新代理的代理信息，包括：

獲取并根據攜帶有所述待更新代理的指令，在所述待更新代理的指令為所述待刪除代理的指令時，得到所述待刪除代理的代理信息，其中，所述待刪除代理的代理信息至少包括：所述待刪除代理的IP地址、所述待刪除代理的名稱及所述待刪除代理的端口；

相應的，所述更新所述待更新代理的代理信息，并更新所述待更新代理到代理池，包括：

刪除所述待刪除代理的代理信息，并刪除所述代理池中的所述待刪除代理。

5.根據權利要求4所述的管理爬蟲代理的方法，其特征在于，在所述獲取并根據攜帶有所述待更新代理的指令，在所述待更新代理的指令為所述待刪除代理的指令時，得到所述待刪除代理的代理信息之前，所述的管理爬蟲代理的方法還包括：

周期性的獲取所述代理池中第一代理的代理信息，并根據所述第一代理的代理信息，向所述第一代理發送下載第二指定內容的第二下載指令，其中，所述第一代理為所述代理池中的任一個代理；

在所述第一代理根據所述第二下載指令不能下載所述第二指定內容時，則所述第一代理為待刪除代理。

6.一種管理爬蟲代理的裝置，其特征在于，所述裝置包括：

獲取模塊，用于獲取并根據攜帶有待更新代理的指令，得到所述待更新代理的代理信息，其中，所述待更新代理的代理信息至少包括：所述待更新代理的IP地址、所述待更新代理的名稱及所述待更新代理的端口，所述待更新代理的指令為待新增代理的指令和/或待刪除代理的指令；

更新模塊，用于更新所述待更新代理的代理信息，并更新所述待更新代理到代理池。

7.根據權利要求6所述的管理爬蟲代理的裝置，其特征在于，所述獲取模塊，具體用于：

獲取并根據攜帶有所述待更新代理的指令，在所述待更新代理的指令為所述待新增代理的指令時，得到所述待新增代理的代理信息，其中，所述待新增代理的代理信息至少包括：所述待新增代理的IP地址、所述待新增代理的名稱及所述待新增代理的端口；

相應的，所述更新模塊，具體用于：

添加所述待新增代理的代理信息，并添加所述待新增代理到所述代理池。