[發明專利]數據抓取方法、裝置及網絡爬蟲系統在審
| 申請號： | 201810306740.6 | 申請日： | 2018-04-08 |
| 公開（公告）號： | CN108595543A | 公開（公告）日： | 2018-09-28 |
| 發明（設計）人： | 田春燕;付鵬飛 | 申請（專利權）人： | 北京知道創宇信息技術有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京超凡志成知識產權代理事務所(普通合伙) 11371 | 代理人： | 王暉 |
| 地址： | 100000 北京市朝陽區阜*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 代理服務器 下載器 抓取 主節點 網絡爬蟲系統 結構化數據 目標代理 數據抓取 選擇器 服務器 服務器分配 分配數據 請求代理 網絡爬蟲 響應數據 裝置應用 可用 阻塞 存儲 指令 中斷 創建 申請 網絡 | ||
1.一種數據抓取方法，其特征在于，應用于網絡爬蟲系統，該網絡爬蟲系統包括主節點、選擇器及代理服務器池；所述方法包括：
所述主節點響應數據抓取指令，創建用于從網絡搜集并下載數據的下載器，所述下載器包括一代理服務器黑名單；
所述主節點向新建的下載器分配數據抓取任務；
所述下載器通過所述主節點向所述選擇器請求代理服務器；
所述選擇器在所述代理服務器池中確定一代理服務器，當該代理服務器可用時，將該代理服務器作為目標代理服務器并分配給所述下載器；
當所述目標代理服務器不在所述代理服務器黑名單中時，所述下載器通過所述目標代理服務器執行所述數據抓取任務以從網絡抓取數據，并從抓取到的數據中提取結構化數據；
當能夠提取出結構化數據時，將提取出的結構化數據發送給所述主節點；
所述主節點將所述結構化數據存儲到預設的數據庫中。
2.根據權利要求1所述的數據抓取方法，其特征在于，所述方法還包括：
當所述選擇器在所述代理服務器池中確定的代理服務器不可用時，從所述代理服務器池中移除該代理服務器，并重新確定一代理服務器。
3.根據權利要求1或2所述的數據抓取方法，其特征在于，所述方法還包括：
當所述目標代理服務器在所述代理服務器黑名單中時，所述下載器重新通過所述主節點向所述選擇器請求代理服務器。
4.根據權利要求1或2所述的數據抓取方法，其特征在于，所述方法還包括：
當無法提取出結構化數據時，所述下載器將所述目標代理服務器記錄到所述代理服務器黑名單中，并重新通過所述主節點向所述選擇器請求代理服務器。
5.根據權利要求1或2所述的數據抓取方法，其特征在于，所述方法還包括：
在所述數據抓取任務結束時，刪除所述下載器及所述代理服務器黑名單。
6.一種數據抓取裝置，其特征在于，應用于網絡爬蟲系統，該網絡爬蟲系統包括主節點、選擇器及代理服務器池；所述裝置包括：
創建模塊，用于控制所述主節點響應數據抓取指令，創建用于從網絡搜集并下載數據的下載器，所述下載器包括一代理服務器黑名單；
任務分配模塊，用于控制所述主節點向新建的下載器分配數據抓取任務；
請求模塊，用于控制所述下載器通過所述主節點向所述選擇器請求代理服務器；
選取模塊，用于控制所述選擇器在所述代理服務器池中確定一代理服務器，當該代理服務器可用時，將該代理服務器作為目標代理服務器并分配給所述下載器；
任務執行模塊，用于當所述目標代理服務器不在所述代理服務器黑名單中時，控制所述下載器通過所述目標代理服務器執行所述抓取任務以從網絡抓取數據，并從抓取到的數據中提取結構化數據；
存儲模塊，用于當能夠提取出結構化數據時，將提取出的結構化數據發送給所述主節點，并控制所述主節點將所述結構化數據存儲到預設的數據庫中。
7.根據權利要求6所述的數據抓取裝置，其特征在于，所述裝置還包括：
移除模塊，用于當所述選擇器在所述代理服務器池中確定的代理服務器不可用時，控制所述選擇器從所述代理服務器池中移除該代理服務器，并重新確定一代理服務器。
8.根據權利要求6或7所述的數據抓取裝置，其特征在于，
所述請求模塊，還用于當所述目標代理服務器在所述代理服務器黑名單中時，控制所述下載器重新通過所述主節點向所述選擇器請求代理服務器。
9.根據權利要求6或7所述的數據抓取裝置，其特征在于，所述裝置還包括：
記錄模塊，用于當無法提取出結構化數據時，控制所述下載器將所述目標代理服務器記錄到所述代理服務器黑名單中，并重新通過所述主節點向所述選擇器請求代理服務器。
10.一種網絡爬蟲系統，其特征在于，包括主節點、選擇器及代理服務器池；
所述主節點響應數據抓取指令，創建用于從網絡搜集并下載數據的下載器，所述下載器包括一代理服務器黑名單；
所述主節點向新建的下載器分配數據抓取任務；
所述下載器通過所述主節點向所述選擇器請求代理服務器；
所述選擇器在所述代理服務器池中確定一代理服務器，當該代理服務器可用時，將該代理服務器作為目標代理服務器并分配給所述下載器；
當所述目標代理服務器不在所述代理服務器黑名單中時，所述下載器通過所述目標代理服務器執行所述數據抓取任務以從網絡抓取數據，并從抓取到的數據中提取結構化數據；
當能夠提取出結構化數據時，將提取出的結構化數據發送給所述主節點；
所述主節點將所述結構化數據存儲到預設的數據庫中。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于北京知道創宇信息技術有限公司，未經北京知道創宇信息技術有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201810306740.6/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：一種文本分類模型生成、文本分類方法及裝置
- 下一篇：一種文檔圖片分類方法
