[發明專利]一種用于網絡爬蟲系統的網頁內容抓取方法及裝置有效
| 申請號： | 201210140751.4 | 申請日： | 2012-05-08 |
| 公開（公告）號： | CN103389983A | 公開（公告）日： | 2013-11-13 |
| 發明（設計）人： | 孫杰;蔡同利 | 申請（專利權）人： | 阿里巴巴集團控股有限公司 |
| 主分類號： | G06F17/30 | 分類號： | G06F17/30 |
| 代理公司： | 北京國昊天誠知識產權代理有限公司 11315 | 代理人： | 許志勇 |
| 地址： | 英屬開曼群島大開*** | 國省代碼： | 開曼群島;KY |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 一種 用于 網絡 爬蟲 系統 網頁 內容 抓取 方法 裝置 | ||
1.一種用于網絡爬蟲系統的網頁內容抓取方法，其特征在于，包括如下步驟：
構建一IP地址數據庫，記錄有預設網站的域名及與該域名對應的多個IP地址；
通過查詢所述IP地址數據庫，將所述網絡爬蟲系統欲執行抓取的目標網頁地址URL中的域名替換為一個與該域名對應的IP地址后執行抓取。
2.如權利要求1所述的方法，其特征在于，所述IP地址數據庫根據所述網絡爬蟲系統的查詢，從與其查詢的域名對應的多個IP地址中根據預設規則返回一個IP地址。
3.如權利要求2所述的方法，其特征在于，所述預設規則包括隨機返回一個IP地址。
4.如權利要求2所述的方法，其特征在于，所述預設規則包括根據記錄順序返回上一次返回的IP地址的下一個IP地址。
5.如權利要求1所述的方法，其特征在于，所述與預設網站的域名對應的多個IP地址，包括該網站的內容分發網絡CDN節點的IP地址和/或域名系統DNS輪詢的IP地址。
6.一種用于網絡爬蟲系統的網頁內容抓取裝置，其特征在于，包括：
數據庫模塊，用于通過構建一IP地址數據庫，記錄預設網站的域名及與該域名對應的多個IP地址；
替換模塊，用于通過查詢所述IP地址數據庫，將所述網絡爬蟲系統欲執行抓取的目標網頁地址URL中的域名替換為一個與該域名對應的IP地址后執行抓取。
7.如權利要求6所述的裝置，其特征在于，所述數據庫模塊，根據所述網絡爬蟲系統的查詢，從與其查詢的域名對應的多個IP地址中根據預設規則返回一個IP地址。
8.如權利要求7所述的裝置，其特征在于，所述預設規則包括隨機返回一個IP地址。
9.如權利要求7所述的裝置，其特征在于，所述預設規則包括根據記錄順序返回上一次返回的IP地址的下一個IP地址。
10.如權利要求6所述的裝置，其特征在于，所述數據庫模塊中記錄的與預設網站的域名對應的多個IP地址，包括該網站的內容分發網絡CDN節點的IP地址和/或域名系統DNS輪詢的IP地址。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于阿里巴巴集團控股有限公司，未經阿里巴巴集團控股有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201210140751.4/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：超聲風速溫度儀局域網絡系統及測量方法
- 下一篇：一種家居接口模塊
