[發明專利]爬取任務的分配方法及裝置

在審

• 申請號: 201811291178.0
• 申請日: 2018-10-31
• 公開（公告）號: CN111126733A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 李強
• 申請（專利權）人: 北京國雙科技有限公司
• 主分類號: G06Q10/06
• 分類號: G06Q10/06
• 代理公司: 北京鼎佳達知識產權代理事務所(普通合伙) 11348
• 代理人: 王偉鋒;劉鐵生

1.一種爬取任務的分配方法，其特征在于，包括：

接收爬蟲設備發送的任務分配請求，其中，所述任務分配請求中包含所述爬蟲設備對應的設備標識，所述設備標識用于唯一標識所述爬蟲設備；

根據所述設備標識，確定所述爬蟲設備對應的爬取能力；

獲取與所述爬取能力相匹配的待處理爬取任務，并將所述待處理爬取任務發送至所述爬蟲設備。

2.根據權利要求1所述的方法，其特征在于，在所述接收爬蟲設備發送的任務分配請求之前，所述方法還包括：

獲取所述爬蟲設備對應的設備標識和爬取能力，所述爬取能力用于表征所述爬蟲設備具備的處理爬取任務的能力；

將所述設備標識和所述爬取能力之間的映射關系進行緩存；

所述根據所述設備標識，確定所述爬蟲設備對應的爬取能力，包括：

根據所述設備標識和所述映射關系，確定所述爬蟲設備對應的爬取能力。

3.根據權利要求1所述的方法，其特征在于，所述獲取與所述爬取能力相匹配的待處理爬取任務，包括：

獲取多個第一爬取任務，所述第一爬取任務是指任務狀態為未處理的爬取任務；

根據每個所述第一爬取任務對應的處理條件，在多個所述第一爬取任務中確定所述爬取能力能夠完成的目標爬取任務，所述處理條件包括：所述第一爬取任務對應的待爬取應用程序、所述第一爬取任務對應的待爬取數據量和所述第一爬取任務對應的待爬取數據類型中的至少一項；

將所述目標爬取任務確定為所述待處理爬取任務。

4.根據權利要求1所述的方法，其特征在于，所述獲取與所述爬取能力相匹配的待處理爬取任務，包括：

獲取多個第二爬取任務，所述第二爬取任務是指所述爬取能力能夠完成的爬取任務；

根據每個所述第二爬取任務對應的任務狀態，將多個所述第二爬取任務中任務狀態為未處理的第二爬取任務確定為所述待處理爬取任務，所述任務狀態為未處理或已處理。

5.根據權利要求1-4中任一項所述的方法，其特征在于，在所述將所述待處理爬取任務發送至所述爬蟲設備之后，所述方法還包括：

根據所述設備標識對所述待處理爬取任務的任務狀態進行更新。

6.一種爬取任務的分配裝置，其特征在于，包括：

接收單元，用于接收爬蟲設備發送的任務分配請求，其中，所述任務分配請求中包含所述爬蟲設備對應的設備標識，所述設備標識用于唯一標識所述爬蟲設備；

確定單元，用于根據所述接收單元接收的所述設備標識，確定所述爬蟲設備對應的爬取能力；

第一獲取單元，用于獲取與所述確定單元確定的所述爬取能力相匹配的待處理爬取任務；

發送單元，用于將所述第一獲取單元獲取的所述待處理爬取任務發送至所述爬蟲設備。

7.根據權利要求6所述的裝置，其特征在于，所述裝置還包括：

第二獲取單元，用于在所述接收單元接收爬蟲設備發送的任務分配請求之前，獲取所述爬蟲設備對應的設備標識和爬取能力，所述爬取能力用于表征所述爬蟲設備具備的處理爬取任務的能力；

緩存單元，用于將所述第二獲取單元獲取的所述設備標識和所述爬取能力之間的映射關系進行緩存；

所述確定單元，具體用于根據所述設備標識和所述映射關系，確定所述爬蟲設備對應的爬取能力。

8.根據權利要求6所述的裝置，其特征在于，所述第一獲取單元包括：

第一獲取模塊，用于獲取多個第一爬取任務，所述第一爬取任務是指任務狀態為未處理的爬取任務；

第一確定模塊，用于根據每個所述第一爬取任務對應的處理條件，在多個所述第一爬取任務中確定所述爬取能力能夠完成的目標爬取任務，所述處理條件包括：所述第一爬取任務對應的待爬取應用程序、所述第一爬取任務對應的待爬取數據量和所述第一爬取任務對應的待爬取數據類型中的至少一項；

第二確定模塊，用于將所述第一確定模塊確定的所述目標爬取任務確定為所述待處理爬取任務。