[發明專利]一種分布式系統的控制方法，及管理節點

有效

• 申請號: 201310681454.5
• 申請日: 2013-12-12
• 公開（公告）號: CN103716381A
• 公開（公告）日: 2014-04-09
• 發明（設計）人: 朱韌;周偉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種分布式系統的控制方法，其特征在于，包括：

管理節點確定待處理的數據塊，并獲取管理節點下的各分布式節點的第一數據處理能力；

管理節點按照各分布式節點的第一數據處理能力的大小，將待處理的數據塊存入各分布式節點；

在各分布式節點進行數據處理過程中，管理節點通過數據處理的完成狀態確定各分布式節點的第二數據處理能力，并依據各分布式節點的第二數據處理能力將未處理的數據塊進行重新存放。

2.根據權利要求1所述方法，其特征在于，所述在各分布式節點進行數據處理過程中，管理節點通過數據處理的完成狀態確定各分布式節點的第二數據處理能力包括：

在各分布式節點進行數據處理過程中，管理節點通過各分布式節點的空閑計算資源、待處理數據塊的數量、網絡狀態以及加速比確定各分布式節點的第二數據處理能力。

3.根據權利要求1所述方法，其特征在于，還包括：

在待處理的數據塊全部被處理完畢后，依據各分布式節點處理的數據塊調整各分布式節點的數據處理能力；

在接收到與所述待處理的數據塊相同的待處理的數據塊后，依據調整后的各分布式節點的數據處理能力的大小，將待處理的數據塊存入各分布式節點。

4.根據權利要求3所述方法，其特征在于，所述依據各分布式節點處理的數據塊調整各分布式節點的數據處理能力包括：

依據第一次存入各分布式節點的數據塊的數量以及各分布式節點實際處理數據塊的數量，確定各分布式節點的數據處理本地化率；或者，依據存放在各分布式節點本地的數據塊所需的處理時間以及各分布式節點的實際數據處理時間，確定各分布式節點的數據處理本地化率；

依據各分布式節點的數據處理本地化率調整各分布式節點的數據處理能力。

5.根據權利要求1所述方法，其特征在于，所述將待處理的數據塊存入各分布式節點包括：

將待處理的數據塊存入各分布式節點，并由各分布式節點的中央處理器分配到圖形處理器進行數據處理。

6.根據權利要求1至5任意一項所述方法，其特征在于，還包括：

管理節點獲取各分布式節點的網絡速率；

若按照第一數據處理能力大小或者第二數據處理能力大小，會將數據塊存入第一分布式節點，并且第一分布式節點的網絡速率小于網絡速度預定閾值，則在分布式系統中重新選擇節點進行存放。

7.根據權利要求1所述方法，其特征在于，還包括：

在待處理的數據塊全部被處理完畢后，依據各數據塊的處理時間以及處理各數據塊的分布式節點的第一數據處理能力，確定各數據塊的數據處理量；

管理節點在接收到與所述待處理的數據塊相同的待處理的數據塊后，依據各數據塊的數據處理量以及各分布式節點的第一數據處理能力，將待處理的數據塊存入各分布式節點。

8.根據權利要求7所述方法，其特征在于，還包括：

管理節點獲取各分布式節點的網絡速率；

所述依據各數據塊的數據處理量以及各分布式節點的第一數據處理能力，將待處理的數據塊存入各分布式節點包括：

依據各數據塊的數據處理量、各分布式節點的網絡速率以及第一數據處理能力，將待處理的數據塊存入各分布式節點。

9.一種分布式系統的管理節點，其特征在于，包括：

數據確定單元，用于確定待處理的數據塊；

能力確定單元，用于獲取管理節點下的各分布式節點的第一數據處理能力；在各分布式節點進行數據處理過程中，通過數據處理的完成狀態確定各分布式節點的第二數據處理能力；

分配單元，用于按照所述能力確定單元確定的各分布式節點的第一數據處理能力的大小，將待處理的數據塊存入各分布式節點；依據所述能力確定單元確定的各分布式節點的第二數據處理能力將未處理的數據塊進行重新存放。

10.根據權利要求9所述管理節點，其特征在于，

所述能力確定單元，用于在各分布式節點進行數據處理過程中，管理節點通過各分布式節點的空閑計算資源、待處理數據塊的數量、網絡狀態以及加速比確定各分布式節點的第二數據處理能力。