[發明專利]一種異步爬蟲系統及數據爬取方法

在審

• 申請號: 202010171572.1
• 申請日: 2020-03-12
• 公開（公告）號: CN111400574A
• 公開（公告）日: 2020-07-10
• 發明（設計）人: 周坤朋;秦曼;王連軍
• 申請（專利權）人: 鄭州悉知信息科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 楊華

本申請提供了一種異步爬蟲系統及數據爬取方法，其中，異步爬蟲系統包括業務層模塊和服務層模塊；業務層模塊在接收到來自終端的爬蟲需求時，根據爬蟲需求生成爬蟲請求，將生成的爬蟲請求進行緩存；服務層模塊從已緩存的爬蟲請求中取爬蟲請求至Celery隊列；利用Celery系統的多個任務執行單元并行爬取Celery隊列中多個爬蟲請求分別對應的數據，并將針對每個爬蟲請求爬取的數據進行整合，以獲得每個爬蟲請求對應的目標數據；以及利用Celery系統將每個爬蟲請求對應的目標數據返回給業務層模塊，以供終端從業務層模塊獲取。本申請能夠大大提高數據爬取效率，且當面對源源不斷的爬蟲需求時，能夠快速地進行響應。

技術領域

本申請涉及數據爬取技術領域，尤其涉及一種異步爬蟲系統及數據爬取方法。

背景技術

目前的數據爬取方法都是非異步的，即，終端產生爬蟲需求信息給服務器，等待服務器進行響應，服務器在獲得爬蟲需求信息后，做爬蟲準備，調用爬蟲方法，執行爬蟲方法爬取數據，將爬取的數據響應給終端。現有的數據爬取方法的爬取效率較低，并且，當終端產生源源不斷的爬蟲需求信息時，服務器側會因爬蟲需求信息大而阻塞，進而影響服務。

發明內容

有鑒于此，本申請提供了一種異步爬蟲系統及數據爬取方法，用以解決現有技術中的數據爬取方法的爬取效率較低，并且，當終端產生源源不斷的爬蟲需求信息時，服務器側會因爬蟲需求信息大而阻塞，進而影響服務的問題，其技術方案如下：

一種異步爬蟲系統，包括：業務層模塊和服務層模塊；

所述業務層模塊，用于當接收到來自終端的爬蟲需求信息時，根據所述爬蟲需求信息生成爬蟲請求，并將生成的爬蟲請求進行緩存；

所述服務層模塊，用于從已緩存的爬蟲請求中取爬蟲請求至Celery任務隊列中；利用Celery系統的多個任務執行單元并行爬取所述Celery任務隊列中多個爬蟲請求分別對應的數據；利用所述Celery系統將針對每個爬蟲請求爬取的數據進行整合，以獲得每個爬蟲請求對應的目標數據；以及利用所述Celery系統將每個爬蟲請求對應的目標數據返回給所述業務層模塊，以供所述終端從所述業務層模塊獲取。

可選的，所述服務層模塊在利用所述Celery系統的一任務執行單元爬取一爬蟲請求對應的數據時，具體用于：

利用所述Celery系統的該任務執行單元并行地從多個數據爬取途徑爬取該爬蟲請求對應的數據。

可選的，所述服務層模塊在利用所述Celery系統的該任務執行單元并行地從多個數據爬取途徑爬取該爬蟲請求對應的數據時，具體用于：

通過調用gevent協程包，加載爬蟲任務，并行地從多個數據爬取途徑爬取該爬蟲請求對應的數據；

其中，一個爬蟲任務對應一個數據爬取途徑，任一爬取任務用于從對應的數據爬取途徑爬取數據。

可選的，所述爬蟲請求中至少包括：目標詞和回調地址，所述爬蟲請求用于請求爬取與所述目標詞相關的詞；

所述服務層模塊在利用所述Celery系統將每個爬蟲請求對應的目標數據返回給所述業務層模塊時，具體用于：

根據每個爬蟲請求中的回調地址，將每個爬蟲請求對應的目標數據返回給所述業務層模塊。

可選的，所述爬蟲請求中還包括：詞庫標識；

所述業務層模塊，還用于在獲得每個爬蟲請求對應的目標數據后，將每個爬蟲請求對應的目標數據存入對應爬蟲請求中的詞庫標識對應的詞庫中。

一種數據爬取方法，應用于服務器，所述服務器包括業務層模塊和服務層模塊，所述方法包括：

當接收到來自終端的爬蟲需求信息時，利用所述業務層模塊和所述爬蟲需求信息生成爬蟲請求，并將生成的爬蟲請求進行緩存；