[發明專利]數據抓取方法、裝置及網絡爬蟲系統

在審

• 申請號: 201810306740.6
• 申請日: 2018-04-08
• 公開（公告）號: CN108595543A
• 公開（公告）日: 2018-09-28
• 發明（設計）人: 田春燕;付鵬飛
• 申請（專利權）人: 北京知道創宇信息技術有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京超凡志成知識產權代理事務所(普通合伙) 11371
• 代理人: 王暉

本申請實施例提供一種數據抓取方法、裝置及網絡爬蟲系統，方法及裝置應用于包括主節點、選擇器及代理服務器池的網絡爬蟲系統。主節點響應數據抓取指令，創建包括代理服務器黑名單的下載器，并向下載器分配數據抓取任務；下載器通過主節點向選擇器請求代理服務器；選擇器在代理服務器池中確定一代理服務器，當該代理服務器可用時，將該代理服務器作為目標代理服務器分配給下載器；當目標代理服務器不在代理服務器黑名單中時，下載器通過目標代理服務器執行數據抓取任務以從網絡抓取數據，并從抓取到的數據中提取結構化數據；當能夠提取出結構化數據時，將提取出的結構化數據發送給主節點進行存儲。如此，可避免網絡爬蟲的中斷和阻塞。

技術領域

本申請涉及互聯網技術領域，具體而言，涉及一種數據抓取方法、裝置及網絡爬蟲系統。

背景技術

網絡爬蟲，又被稱作網頁蜘蛛、網絡機器人、網頁追逐者、螞蟻、自動索引、模擬程序或蠕蟲等，是一種按照一定的規則自動地在互聯網上抓取網頁和數據的程序或腳本。網絡爬蟲按照制定的策略在互聯網上搜集和下載內容，從下載的內容中提取結構化數據，并對提取出的結構化數據進行存儲。

目前存在一些通用的網絡爬蟲系統，程序員可以按照需求的變化僅僅改變該系統中的策略，其他部分仍舊采樣該系統中原來的程序，而不用重新編寫一個網絡爬蟲程序。

由此可見，現有的網絡爬蟲系統主要集中于如何高效地搜集和下載數據，但在目前的網絡環境下，網絡爬蟲系統能夠使用的網絡資源是有限的，特別是許多網站出于流量保護的目的，禁止同一IP(Internet Protocol)地址在短時間內大量的訪問。這些網站會屏蔽來自這些IP地址的訪問，從而造成網絡爬蟲系統的中斷或阻塞，進而導致網絡爬蟲系統的效率降低。

申請內容

有鑒于此，本申請的目的包括提供一種數據抓取方法、裝置及網絡爬蟲系統，以改善上述問題。

為了達到上述目的，本申請實施例采用如下技術方案：

第一方面，本申請實施例提供一種數據抓取方法，應用于網絡爬蟲系統，該網絡爬蟲系統包括主節點、選擇器及代理服務器池；所述方法包括：

所述主節點響應數據抓取指令，創建用于從網絡搜集并下載數據的下載器，所述下載器包括一代理服務器黑名單；

所述主節點向新建的下載器分配數據抓取任務；

所述下載器通過所述主節點向所述選擇器請求代理服務器；

所述選擇器在所述代理服務器池中確定一代理服務器，當該代理服務器可用時，將該代理服務器作為目標代理服務器并分配給所述下載器；

當所述目標代理服務器不在所述代理服務器黑名單中時，所述下載器通過所述目標代理服務器執行所述數據抓取任務以從網絡抓取數據，并從抓取到的數據中提取結構化數據；

當能夠提取出結構化數據時，將提取出的結構化數據發送給所述主節點；

所述主節點將所述結構化數據存儲到預設的數據庫中。

可選地，根據本申請實施例第一方面提供的數據抓取方法，所述方法還包括：

當所述選擇器在所述代理服務器池中確定的代理服務器不可用時，從所述代理服務器池中移除該代理服務器，并重新確定一代理服務器。

可選地，根據本申請實施例第一方面提供的數據抓取方法，所述方法還包括：

當所述目標代理服務器在所述代理服務器黑名單中時，所述下載器重新通過所述主節點向所述選擇器請求代理服務器。

可選地，根據本申請實施例第一方面提供的數據抓取方法，所述方法還包括：