[發明專利]任務分配方法、裝置、服務器和存儲介質

有效

• 申請號: 201911115472.0
• 申請日: 2019-11-14
• 公開（公告）號: CN110866167B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 張昊
• 申請（專利權）人: 北京知道創宇信息技術股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F9/50
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 張磊

1.一種任務分配方法，其特征在于，應用于分布式爬蟲系統中的主節點，所述方法包括：

向從節點發送任務數量為第一數量的第一任務；

接收所述從節點返回的所述第一數量的第一任務的任務執行結果；

根據所述任務執行結果計算所述從節點當前的處理能力值；

根據所述當前的處理能力值對所述從節點的任務數量進行更新，以在下一次發送任務時根據更新后的任務數量向所述從節點發送任務；

所述處理能力值通過第一表達式計算得到；

所述第一表達式為：

其中，所述pv表示從節點的處理能力值；所述u、d分別表示上傳速度、下載速度；所述s表示執行上一次任務的平均耗時；所述x、n、m分別表示內存大小、CPU的邏輯核心數、主頻。

2.根據權利要求1所述的方法，其特征在于，所述任務執行結果中包括所述從節點執行任務數量為所述第一數量的第一任務時的網絡參數，所述根據所述任務執行結果計算所述從節點當前的處理能力值，包括：

獲取所述從節點執行任務數量為所述第一數量的第一任務所用的任務耗時；

根據所述從節點的硬件配置信息、所述網絡參數以及所述任務耗時，計算所述從節點當前的處理能力值。

3.根據權利要求1所述的方法，其特征在于，所述第一數量是根據上一次計算得到的所述從節點的處理能力值確定的任務數量，所述根據所述當前的處理能力值對所述從節點的任務數量進行更新，包括：

將所述當前的處理能力值與上一次計算出的處理能力值進行比較；

在所述當前的處理能力值大于上一次計算出的處理能力值時，將所述第一數量增大第一預設數量，以得到更新后的任務數量；

在所述當前的處理能力值小于上一次計算出的處理能力值時，將所述第一數量減小第二預設數量，以得到更新后的任務數量。

4.根據權利要求1所述的方法，其特征在于，所述根據所述當前的處理能力值對所述從節點的任務數量進行更新，包括：

根據獲取到的多個從節點分別對應的多個處理能力值，得到所述多個從節點對應的能力值排序結果；

根據所述能力值排序結果對所述多個從節點中任一從節點的任務數量進行更新。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

在首次向所述從節點發送任務之前，獲取所述從節點的初始任務數量；

所述向從節點發送任務數量為第一數量的第一任務，包括：

以所述初始任務數量作為所述第一數量，向所述從節點發送所述第一任務。

6.根據權利要求5所述的方法，其特征在于，所述獲取所述從節點的初始任務數量，包括：

獲取所述從節點的固定參數，所述固定參數包括所述從節點的硬件配置信息、所述從節點的帶寬信息；

根據所述硬件配置信息和所述帶寬信息確定所述初始任務數量。

7.一種任務分配裝置，其特征在于，應用于分布式爬蟲系統中的主節點，所述裝置包括：

發送模塊，用于向從節點發送任務數量為第一數量的第一任務；

接收模塊，用于接收所述從節點返回的所述第一數量的第一任務的任務執行結果；

計算模塊，用于根據所述任務執行結果計算所述從節點當前的處理能力值；

更新模塊，用于根據所述當前的處理能力值對所述從節點的任務數量進行更新，以在下一次發送任務時根據更新后的任務數量向所述從節點發送任務；

所述處理能力值通過第一表達式計算得到；

所述第一表達式為：

其中，所述pv表示從節點的處理能力值；所述u、d分別表示上傳速度、下載速度；所述s表示執行上一次任務的平均耗時；所述x、n、m分別表示內存大小、CPU的邏輯核心數、主頻。

8.一種服務器，其特征在于，包括：

存儲器；

處理器；

所述存儲器存儲有所述處理器可執行的計算機程序，所述計算機程序被所述處理器執行時執行權利要求1-6任一項所述的方法。

9.一種存儲介質，其特征在于，所述存儲介質上存儲有處理器可執行的計算機程序，所述計算機程序被所述處理器執行時執行權利要求1-6任一項所述的方法。