[發明專利]分布式爬蟲實現方法及系統在審
| 申請號： | 201710149022.8 | 申請日： | 2017-03-14 |
| 公開（公告）號： | CN106934027A | 公開（公告）日： | 2017-07-07 |
| 發明（設計）人： | 馬巖 | 申請（專利權）人： | 深圳市博信諾達經貿咨詢有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 深圳市科冠知識產權代理有限公司44355 | 代理人： | 王海駿 |
| 地址： | 518000 廣東省深圳*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 分布式 爬蟲 實現 方法 系統 | ||
1.一種分布式爬蟲實現方法，其特征在于，所述方法包括如下步驟：
服務器獲取搜索的信息以及搜索的范圍；
服務器依據該搜索的范圍將該搜索任務分配成多個搜索子任務；
服務器將多個搜索子任務分配給分布式系統內的設備。
2.根據權利要求1所述的方法，其特征在于，所述方法還包括：
服務器依據負載均衡的原則分配該多個搜索子任務。
3.根據權要求2所述的方法，其特征在于，所述方法還包括：
服務器按分布式系統內的設備的位置分配多個搜索子任務。
4.一種分布式爬蟲實現系統，其特征在于，所述系統包括：
獲取單元，用于獲取搜索的信息以及搜索的范圍；
處理單元，用于依據該搜索的范圍將該搜索任務分配成多個搜索子任務；將多個搜索子任務分配給分布式系統內的設備。
5.根據權利要求4所述的系統，其特征在于，所述系統還包括：
處理單元，用于服務器依據負載均衡的原則分配該多個搜索子任務。
6.根據權利要求5所述的系統，其特征在于，所述系統還包括：
處理單元，用于按分布式系統內的設備的位置分配多個搜索子任務。
7.一種服務器，包括：處理器、無線收發器、存儲器和總線，所述處理器、無線收發器、存儲器通過總線連接，其特征在于，
所述無線收發器，用于獲取搜索的信息以及搜索的范圍；
所述處理器，用于依據該搜索的范圍將該搜索任務分配成多個搜索子任務；將多個搜索子任務分配給分布式系統內的設備。
8.根據權利要求7所述的服務器，其特征在于，所述處理器，用于服務器依據負載均衡的原則分配該多個搜索子任務。
9.根據權利要求7所述的服務器，其特征在于，所述處理器，用于按分布式系統內的設備的位置分配多個搜索子任務。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深圳市博信諾達經貿咨詢有限公司，未經深圳市博信諾達經貿咨詢有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201710149022.8/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：出行服務挖掘方法、裝置、設備及存儲介質
- 下一篇：一種存儲代碼的方法及終端
