[發明專利]爬取任務的分配方法及裝置

在審

• 申請號: 201811291178.0
• 申請日: 2018-10-31
• 公開（公告）號: CN111126733A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 李強
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

本發明公開了一種爬取任務的分配方法及裝置，涉及爬蟲技術領域，提高了爬蟲服務器對爬取任務進行分配調度的效率。本發明的方法包括：接收爬蟲設備發送的任務分配請求，其中，所述任務分配請求中包含所述爬蟲設備對應的設備標識，所述設備標識用于唯一標識所述爬蟲設備；根據所述設備標識，確定所述爬蟲設備對應的爬取能力；獲取與所述爬取能力相匹配的待處理爬取任務，并將所述待處理爬取任務發送至所述爬蟲設備。本發明適用于爬蟲服務器對爬取任務進行分配調度的過程中。

技術領域

本發明涉及爬蟲技術領域，特別是涉及一種爬取任務的分配方法及裝置。

背景技術

隨著互聯網技術的日益發展，大數據時代已經來臨。在大數據時代下，數據的價值不言而喻，例如，搜索引擎、人工智能、輿情系統等均獲取大量數據作為基礎，從而使得能夠在互聯網中爬取數據的網絡爬蟲扮演的角色越來越重要。由于，單個爬蟲設備的爬取能力十分有限，因此，當需要處理的爬取任務的數量較多時，需要爬蟲服務器對爬取任務進行分配調度，即爬蟲服務器將獲取得到的多個爬取任務分配給其對應的多個爬蟲設備進行處理。

目前，爬蟲服務器在對爬取任務進行分配調度時，通常是按照時間順序將獲取得到的多個爬取任務存放到任務隊列中，當接收到某個爬蟲設備發送的任務分配請求時，將任務隊列中的第一個爬取任務分配給該爬蟲設備。

發明人在實現本發明的過程中，發現現有技術中存在以下技術問題，由于，不同的爬蟲設備對應的設備性能并不相同，從而使得不同爬蟲設備具備的爬取能力也不相同，因此，爬蟲服務器將其對應的所有爬蟲設備看作具備相同的爬取能力，在接收到某個爬蟲設備發送的任務分配請求后，未對該爬蟲設備的爬取能力進行判別，便將爬取任務分配該爬蟲設備，當該爬蟲設備不具備處理該爬取任務的爬取能力時，該爬蟲設備需要將該爬取任務返還給爬蟲服務器，由爬蟲服務器將該爬取任務分配給其他爬蟲設備進行處理，從而存在爬蟲服務器將爬取任務分配給爬蟲設備后，該爬取任務不能在第一時間被處理，需要再次分配的可能性，進而導致爬蟲服務器對爬取任務進行分配調度的效率較低。

發明內容

有鑒于此，本發明提供的爬取任務的分配方法及裝置，主要目的在于提高爬蟲服務器對爬取任務進行分配調度的效率。

為了達到上述目的，本發明主要提供如下技術方案：

第一方面，本發明提供了一種爬取任務的分配方法，該方法包括：

接收爬蟲設備發送的任務分配請求，其中，所述任務分配請求中包含所述爬蟲設備對應的設備標識，所述設備標識用于唯一標識所述爬蟲設備；

根據所述設備標識，確定所述爬蟲設備對應的爬取能力；

獲取與所述爬取能力相匹配的待處理爬取任務，并將所述待處理爬取任務發送至所述爬蟲設備。

可選的，在所述接收爬蟲設備發送的任務分配請求之前，所述方法還包括：

獲取所述爬蟲設備對應的設備標識和爬取能力，所述爬取能力用于表征所述爬蟲設備具備的處理爬取任務的能力；

將所述設備標識和所述爬取能力之間的映射關系進行緩存；

所述根據所述設備標識，確定所述爬蟲設備對應的爬取能力，包括：

根據所述設備標識和所述映射關系，確定所述爬蟲設備對應的爬取能力。

可選的，所述獲取與所述爬取能力相匹配的待處理爬取任務，包括：

獲取多個第一爬取任務，所述第一爬取任務是指任務狀態為未處理的爬取任務；

根據每個所述第一爬取任務對應的處理條件，在多個所述第一爬取任務中確定所述爬取能力能夠完成的目標爬取任務，所述處理條件包括：所述第一爬取任務對應的待爬取應用程序、所述第一爬取任務對應的待爬取數據量和所述第一爬取任務對應的待爬取數據類型中的至少一項；