[發明專利]分布式爬蟲系統中任務管理器的分配方法及系統

在審

• 申請號: 201711006401.8
• 申請日: 2017-10-25
• 公開（公告）號: CN107766522A
• 公開（公告）日: 2018-03-06
• 發明（設計）人: 馬巖
• 申請（專利權）人: 麥格創科技（深圳）有限公司
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F9/50
• 代理公司: 深圳市科冠知識產權代理有限公司44355
• 代理人: 王海駿

1.一種分布式爬蟲系統中任務管理器的分配方法，其特征在于，所述方法包括如下步驟：

分布式設備接收或發起分配消息，所述分配消息用于從分布式爬蟲系統中分配出任務管理器；

分布式設備將N個數據包依次發送給分布式設備的其他M個設備；

分布式設備統計M個設備返回的N個數據包的M個時延和，求該M個時延和的平均值；

分布式設備接收其他M個設備發送的M個分配消息得到M個時延和平均值，該分配消息包含本機的時延和平均值；

分布式設備按M個時延和平均值倒序向M個設備發送所述分配消息。

2.根據權利要求1所述的方法，其特征在于，所述分布式設備將N個數據包依次發送給分布式設備的其他M個設備；分布式設備統計M個設備返回的N個數據包的M個時延和，求該M個時延和的平均值包括：

分布式設備獲取歷史分享的數據包的大小；提取歷史數據包的大小區間，將該大小區間劃分成N個子區間，分布式設備虛擬N個數據包，其中N個數據包中的第M個數據包的大小為N個區間中第M個子區間的中值，分布式設備將N個數據包依次發送給M個其他分布式設備，統計其他M個分布式設備中每個接入點的N個數據包的時延和，得到M個時延和。

3.根據權利要求1所述的方法，其特征在于，所述時延的獲取方式，包括：

時延＝t_ACK(1a)-t_1a；其中，t_ACK(1a)為第一設備返回數據包A的確認消息的接收時間，t_1a為數據包A向第一設備的發送時間。

4.一種分布式爬蟲任務分配系統，其特征在于，所述系統包括：多個分布式設備，所述多個分布式設備包括第一分布式設備和其他N個分布式設備；

第一分布式設備，用于接收或發起分配消息，所述分配消息用于從分布式爬蟲系統中分配出任務管理器；將N個數據包依次發送給分布式設備的其他M個設備；統計M個設備返回的N個數據包的M個時延和，求該M個時延和的平均值；接收其他M個設備發送的M個分配消息得到M個時延和平均值，該分配消息包含本機的時延和平均值；按M個時延和平均值倒序向M個設備發送所述分配消息；

其他N個分布式設備，用于獲取本地的時延和，將該本地時延和發送給第一分布式設備。

5.根據權利要求4所述的系統，其特征在于，

所述第一分布式設備，還用于獲取歷史分享的數據包的大小；提取歷史數據包的大小區間，將該大小區間劃分成N個子區間，分布式設備虛擬N個數據包，其中N個數據包中的第M個數據包的大小為N個區間中第M個子區間的中值，分布式設備將N個數據包依次發送給M個其他分布式設備，統計其他M個分布式設備中每個接入點的N個數據包的時延和，得到M個時延和。

6.根據權利要求4所述的方法，其特征在于，

所述第一分布式設備，還用于時延＝t_ACK(1a)-t_1a；其中，t_ACK(1a)為第一設備返回數據包A的確認消息的接收時間，t_1a為數據包A向第一設備的發送時間。

7.一種分布式設備，包括：處理器、無線收發器、存儲器和總線，所述處理器、無線收發器、存儲器通過總線連接，其特征在于，

所述無線收發器，用于接收或發起分配消息，所述分配消息用于從分布式爬蟲系統中分配出任務管理器；

所述處理器，用于將N個數據包依次發送給分布式設備的其他M個設備；統計M個設備返回的N個數據包的M個時延和，求該M個時延和的平均值；接收其他M個設備發送的M個分配消息得到M個時延和平均值，該分配消息包含本機的時延和平均值；按M個時延和平均值倒序向M個設備發送所述分配消息。

8.根據權利要求7所述的服務器，其特征在于，所述處理器，用于獲取歷史分享的數據包的大小；提取歷史數據包的大小區間，將該大小區間劃分成N個子區間，分布式設備虛擬N個數據包，其中N個數據包中的第M個數據包的大小為N個區間中第M個子區間的中值，分布式設備將N個數據包依次發送給M個其他分布式設備，統計其他M個分布式設備中每個接入點的N個數據包的時延和，得到M個時延和。