[發明專利]分布式爬蟲系統中任務管理器的分配方法及系統

在審

• 申請號: 201711000607.X
• 申請日: 2017-10-24
• 公開（公告）號: CN107800789A
• 公開（公告）日: 2018-03-13
• 發明（設計）人: 馬巖
• 申請（專利權）人: 麥格創科技（深圳）有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24;G06F9/50
• 代理公司: 深圳市科冠知識產權代理有限公司44355
• 代理人: 王海駿

1.一種分布式爬蟲系統中任務管理器的分配方法，其特征在于，所述方法包括如下步驟：

分布式設備接收或發起分配消息，所述分配消息用于從分布式爬蟲系統中分配出任務管理器；

分布式設備將N個數據包依次發送給分布式設備的其他M個設備；

分布式設備統計M個設備返回的N個數據包的M個時延和，求該M個時延和的平均值；

分布式設備接收其他M個設備發送的M個分配消息得到M個時延和平均值，該分配消息包含本機的時延和平均值；

分布式設備從M+1個時延和平均值中選擇時延和最小的設備作為任務管理器。

2.根據權利要求1所述的方法，其特征在于，所述方法還包括：

將時延和次少的分布式設備確定為備用任務管理器，降低備用任務管理器的任務處理閾值。

3.根據權利要求1所述的方法，其特征在于，所述方法還包括：

如任務管理器故障，啟動備用任務管理器作為分布式系統的任務管理器。

4.一種分布式爬蟲任務分配系統，其特征在于，所述系統包括：多個分布式設備，所述多個分布式設備包括第一分布式設備和其他N個分布式設備；

第一分布式設備，用于接收或發起分配消息，所述分配消息用于從分布式爬蟲系統中分配出任務管理器；將N個數據包依次發送給分布式設備的其他M個設備；統計M個設備返回的N個數據包的M個時延和，求該M個時延和的平均值；接收其他M個設備發送的M個分配消息得到M個時延和平均值，該分配消息包含本機的時延和平均值；從M+1個時延和平均值中選擇時延和最小的設備作為任務管理器；

其他N個分布式設備，用于獲取本地的時延和，將該本地時延和加載在分配消息內發送給第一分布式設備。

5.根據權利要求4所述的系統，其特征在于，

所述第一分布式設備，還用于將時延和次少的分布式設備確定為備用任務管理器，降低備用任務管理器的任務處理閾值。

6.根據權利要求4所述的方法，其特征在于，

所述第一分布式設備，還用于如任務管理器故障，啟動備用任務管理器作為分布式系統的任務管理器。

7.一種分布式設備，包括：處理器、無線收發器、存儲器和總線，所述處理器、無線收發器、存儲器通過總線連接，其特征在于，

所述無線收發器，用于接收或發起分配消息，所述分配消息用于從分布式爬蟲系統中分配出任務管理器；

所述處理器，用于將N個數據包依次發送給分布式設備的其他M個設備；統計M個設備返回的N個數據包的M個時延和，求該M個時延和的平均值；接收其他M個設備發送的M個分配消息得到M個時延和平均值，該分配消息包含本機的時延和平均值；從M+1個時延和平均值中選擇時延和最小的設備作為任務管理器。

8.根據權利要求7所述的服務器，其特征在于，所述處理器，用于時延和次少的分布式設備確定為備用任務管理器，降低備用任務管理器的任務處理閾值。

9.根據權利要求7所述的服務器，其特征在于，所述處理器，用于如任務管理器故障，啟動備用任務管理器作為分布式系統的任務管理器。

10.一種計算機可讀存儲介質，其特征在于，其存儲用于電子數據交換的計算機程序，其中，所述計算機程序使得計算機執行如權利要求1-3任一項所述的方法。