[發明專利]批量爬蟲任務的處理方法和裝置

有效

• 申請號: 201611261546.8
• 申請日: 2016-12-30
• 公開（公告）號: CN108268498B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 朱長堅
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06F16/953
• 分類號: G06F16/953
• 代理公司: 北京康信知識產權代理有限責任公司 11240
• 代理人: 韓建偉;張永明

1.一種批量爬蟲任務的處理方法，其特征在于，包括：

獲取具有相同配置信息的多個爬取網址；

基于所述配置信息和所述多個爬取網址生成爬蟲任務；

將所述爬蟲任務注入爬蟲程序；

利用所述爬蟲程序執行所述爬蟲任務，得到所述多個爬取網址的爬取結果；

其中，在利用所述爬蟲程序執行所述爬蟲任務，得到所述多個爬取網址的爬取結果之后，所述方法還包括：將所述多個爬取網址的爬取結果記錄在同一個結果文件中；

其中，基于所述配置信息和所述多個爬取網址生成爬蟲任務包括：

將所述配置信息作為爬蟲任務的配置信息；

將所述多個爬取網址注入所述爬蟲任務的指定字段中，所述指定字段為元素集合，所述元素集合包括多個元素對象，每個所述元素對象用于保存注入所述爬蟲任務的一個爬取網址。

2.根據權利要求1所述的處理方法，其特征在于，每個所述爬取網址對應一個標識，所述將所述多個爬取網址的爬取結果記錄在同一個結果文件中包括：

根據每個所述爬取網址對應的所述標識將所述多個爬取網址的爬取結果記錄在同一個結果文件中。

3.根據權利要求1或2所述的處理方法，其特征在于，利用所述爬蟲程序執行所述爬蟲任務，得到所述多個爬取網址的爬取結果包括：

將所述爬蟲任務拆分成多個子任務，其中，每個所述子任務對應一個所述爬取網址；

執行所述多個子任務，得到所述多個爬取網址的爬取結果。

4.根據權利要求3所述的處理方法，其特征在于，將所述爬蟲任務注入爬蟲程序包括：對所述爬蟲任務進行序列化得到任務信息，并將所述任務信息注入所述爬蟲程序；

將所述爬蟲任務拆分成多個子任務包括：將所述爬蟲程序中的任務信息反序列化成所述爬蟲任務；基于所述爬蟲任務對應的多個所述爬取網址將所述爬蟲任務拆分成多個所述子任務，使每個所述子任務對應一個所述爬取網址。

5.根據權利要求3所述的處理方法，其特征在于，執行所述多個子任務，得到所述多個爬取網址的爬取結果包括：

對每個所述子任務進行序列化，并將序列化后的各個所述子任務發送至預先創建的爬取消息隊列；

啟動所述爬蟲程序，執行所述爬取消息隊列中的每個所述子任務，得到每個所述子任務對應的爬取網址的爬取結果。

6.一種批量爬蟲任務的處理裝置，其特征在于，包括：

第一獲取單元，用于獲取具有相同配置信息的多個爬取網址；

生成單元，用于基于所述配置信息和所述多個爬取網址生成爬蟲任務；

注入單元，用于將所述爬蟲任務注入爬蟲程序；

執行單元，用于利用所述爬蟲程序執行所述爬蟲任務，得到所述多個爬取網址的爬取結果；

其中，每個所述爬取網址對應一個標識，其中，所述處理裝置包括：

記錄單元，用于在利用所述爬蟲程序執行所述爬蟲任務，得到所述多個爬取網址的爬取結果之后，將所述多個爬取網址的爬取結果記錄在同一個結果文件中；

其中，所述生成單元用于：將所述配置信息作為爬蟲任務的配置信息；將所述多個爬取網址注入所述爬蟲任務的指定字段中，所述指定字段為元素集合，所述元素集合包括多個元素對象，每個所述元素對象用于保存注入所述爬蟲任務的一個爬取網址。

7.根據權利要求6所述的處理裝置，其特征在于，所述記錄單元包括：

記錄模塊，用于根據每個所述爬取網址對應的所述標識將所述多個爬取網址的爬取結果記錄在同一個結果文件中。