[發明專利]一種爬蟲代理自動切換方法及裝置

在審

• 申請號: 201610056419.8
• 申請日: 2016-01-27
• 公開（公告）號: CN105740384A
• 公開（公告）日: 2016-07-06
• 發明（設計）人: 毛立花;王傳超;孫海峰
• 申請（專利權）人: 浪潮軟件集團有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 濟南信達專利事務所有限公司 37100
• 代理人: 李世喆

1.一種爬蟲代理自動切換方法，其特征在于，包括：

S1：從候選隊列中選擇目標代理，其中，所述候選隊列中存儲有至少一個處于候選狀態的代理；

S2：向所述目標代理發送爬蟲指令，以使所述目標代理根據所述爬蟲指令進行網頁下載；

S3：判斷所述目標代理是否對當前網頁下載成功，在判斷結果包括下載成功時，則執行S4；在判斷結果包括下載失敗時，則執行S5；

S4：繼續使用所述目標代理執行對下一個網頁的下載，將下一個網頁作為當前網頁并執行S3；

S5：將所述目標代理放置到所述候選隊列中，并執行S1。

2.根據權利要求1所述的方法，其特征在于，

所述從候選隊列中選擇目標代理，包括：將位于所述候選隊列頭部/尾部的代理作為選擇的所述目標代理；

所述將所述目標代理放置到所述候選隊列中，包括：將所述目標代理放置到所述候選隊列的尾部/頭部。

3.根據權利要求1所述的方法，其特征在于，在將所述目標代理放置到所述候選隊列中之前，進一步包括：對所述目標代理的當前嘗試次數執行減1操作，并判斷執行減1操作之后的所述目標代理的當前嘗試次數是否為0，若為0，則將所述目標代理設置為無效狀態并丟棄；若不為0，則對執行了減1操作之后的所述目標代理執行所述將所述目標代理放置到所述候選隊列中。

4.根據權利要求1所述的方法，其特征在于，在所述繼續使用所述目標代理執行對下一個網頁的下載之前，進一步包括：將所述目標代理的當前嘗試次數恢復到預先為所述目標代理設置的最大嘗試次數。

5.根據權利要求1-4中任一所述的方法，其特征在于，在所述判斷結果包括下載失敗之后，進一步包括：判斷所述當前網頁被下載失敗的次數是否達到預先針對所述當前網頁設置的最大失敗次數，若達到，則放棄對所述當前網頁的下載。

6.一種爬蟲代理自動切換裝置，其特征在于，包括：

選擇單元，用于從候選隊列中選擇目標代理，其中，所述候選隊列中存儲有至少一個處于候選狀態的代理；

發送單元，用于向所述目標代理發送爬蟲指令，以使所述目標代理根據所述爬蟲指令進行網頁下載；

第一判斷單元，用于判斷所述目標代理是否對當前網頁下載成功，在判斷結果包括下載成功時，則觸發第一處理單元執行相應操作；在判斷結果包括下載失敗時，則觸發放置單元執行相應操作；

第一處理單元，用于繼續使用所述目標代理執行對下一個網頁的下載，將下一個網頁作為當前網頁并所述第一判斷單元執行相應操作；

放置單元，用于將所述目標代理放置到所述候選隊列中，并觸發所述選擇單元執行相應操作。

7.根據權利要求6所述的爬蟲代理自動切換裝置，其特征在于，

所述選擇單元，具體用于將位于所述候選隊列頭部/尾部的代理作為選擇的所述目標代理；

所述放置單元，具體用于將所述目標代理放置到所述候選隊列的尾部/頭部。

8.根據權利要求6所述的爬蟲代理自動切換裝置，其特征在于，進一步包括：第二處理單元，用于對所述目標代理的當前嘗試次數執行減1操作，并判斷執行減1操作之后的所述目標代理的當前嘗試次數是否為0，若為0，則將所述目標代理設置為無效狀態并丟棄；若不為0，則對執行了減1操作之后的所述目標代理執行所述將所述目標代理放置到所述候選隊列中。

9.根據權利要求6所述的爬蟲代理自動切換裝置，其特征在于，進一步包括：恢復單元，用于將所述目標代理的當前嘗試次數恢復到預先為所述目標代理設置的最大嘗試次數。

10.根據權利要求6-9中任一所述的爬蟲代理自動切換裝置，其特征在于，進一步包括：第二判斷單元，用于判斷所述當前網頁被下載失敗的次數是否達到預先針對所述當前網頁設置的最大失敗次數，若達到，則放棄對所述當前網頁的下載。