[發明專利]一種單機爬蟲抓取方法及系統

有效

• 申請號: 201410458191.6
• 申請日: 2014-09-10
• 公開（公告）號: CN104252530B
• 公開（公告）日: 2017-09-15
• 發明（設計）人: 廖耀華
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京邦信陽專利商標代理有限公司11012
• 代理人: 金璽

1.一種單機爬蟲抓取方法，其特征在于，包括：

步驟(11)，獲取至少一個包括URL、網站編號和類型的種子，將所述種子的URL作為當前URL，將所述種子的網站編號作為當前網站編號，將所述種子的類型作為當前類型；

步驟(12)，獲取至少一個策略，根據所述策略確定至少一個爬蟲抓取參數；

步驟(13)，根據所述當前類型獲取與所述當前類型對應的規則；

步驟(14)，按照所述爬蟲抓取參數從所述當前URL抓取網頁數據，根據所述規則對所述網頁數據進行解析獲得解析數據；

所述步驟(14)中，根據所述規則對所述網頁數據進行解析獲得解析數據，具體包括：

如果所述當前類型為主頁URL，則根據主頁URL相應的規則，對所述網頁數據進行解析得到解析數據，如果解析數據中包括URL，則將解析數據中的URL作為類型為分頁URL的種子保存；

如果所述當前類型為分頁URL，則根據分頁URL相應的規則，對所述網頁數據進行解析得到解析數據，如果解析數據中包括URL，則將解析數據中的URL作為類型為詳情頁URL的種子保存；

如果所述當前類型為詳情頁URL，則根據主頁URL相應的規則，對所述網頁數據進行解析得到解析數據，保存所述解析數據中的網頁內容。

2.根據權利要求1所述的單機爬蟲抓取方法，其特征在于，所述步驟(14)中，如果在抓取所述網頁數據或者對所述網頁數據進行分析中出現異常情況，則保存所述異常情況。

3.根據權利要求2所述的單機爬蟲抓取方法，其特征在于，所述策略包括：種子陷入死循環處理策略、瀏覽器標志切換策略、cookie動態更新策略和/或代理IP切換策略。

4.根據權利要求3所述的單機爬蟲抓取方法，其特征在于：

所述種子陷入死循環處理策略具體為：所述爬蟲抓取參數為允許或者拒絕從所述當前URL抓取網頁數據，如果所述異常情況為當前URL陷入死循環，則所述爬蟲抓取參數設置為拒絕從所述當前URL抓取網頁數據，否則所述爬蟲抓取參數設置為允許從所述當前URL抓取網頁數據；

所述瀏覽器標志切換策略具體為：所述爬蟲抓取參數為從所述當前URL抓取網頁數據時所采用的瀏覽器標志，如果所述異常情況為從所述當前URL抓取網頁數據失敗或者達到預設定時時間，則將從所述當前URL抓取網頁數據時所采用的瀏覽器標志更新為另一瀏覽器標志，否則不更新從所述當前URL抓取網頁數據時所采用的瀏覽器標志；

所述cookie動態更新策略具體為：所述爬蟲抓取參數為允許或者拒絕更新從所述當前URL抓取網頁數據時的cookie，如果到達預設定時時間，則所述爬蟲抓取參數設置為允許更新從所述當前URL抓取網頁數據時的cookie，否則所述爬蟲抓取參數設置為拒絕更新從所述當前URL抓取網頁數據時的cookie；

所述代理IP切換策略具體為：所述爬蟲抓取參數為允許或者拒絕更新從所述當前URL抓取網頁數據時的代理IP，如果所述異常情況為從所述當前URL抓取網頁數據失敗或者達到預設定時時間，則所述爬蟲抓取參數設置為允許更新從所述當前URL抓取網頁數據時的代理IP，否則所述爬蟲抓取參數設置為拒絕更新從所述當前URL抓取網頁數據時的代理IP。