[發(fā)明專利]一種分布式系統(tǒng)的控制方法，及管理節(jié)點

有效

• 申請?zhí)枺?/td>: 201310681454.5
• 申請日: 2013-12-12
• 公開（公告）號: CN103716381A
• 公開（公告）日: 2014-04-09
• 發(fā)明（設(shè)計）人: 朱韌;周偉
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種分布式系統(tǒng)的控制方法，其特征在于，包括：

管理節(jié)點確定待處理的數(shù)據(jù)塊，并獲取管理節(jié)點下的各分布式節(jié)點的第一數(shù)據(jù)處理能力；

管理節(jié)點按照各分布式節(jié)點的第一數(shù)據(jù)處理能力的大小，將待處理的數(shù)據(jù)塊存入各分布式節(jié)點；

在各分布式節(jié)點進行數(shù)據(jù)處理過程中，管理節(jié)點通過數(shù)據(jù)處理的完成狀態(tài)確定各分布式節(jié)點的第二數(shù)據(jù)處理能力，并依據(jù)各分布式節(jié)點的第二數(shù)據(jù)處理能力將未處理的數(shù)據(jù)塊進行重新存放。

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述在各分布式節(jié)點進行數(shù)據(jù)處理過程中，管理節(jié)點通過數(shù)據(jù)處理的完成狀態(tài)確定各分布式節(jié)點的第二數(shù)據(jù)處理能力包括：

在各分布式節(jié)點進行數(shù)據(jù)處理過程中，管理節(jié)點通過各分布式節(jié)點的空閑計算資源、待處理數(shù)據(jù)塊的數(shù)量、網(wǎng)絡(luò)狀態(tài)以及加速比確定各分布式節(jié)點的第二數(shù)據(jù)處理能力。

3.根據(jù)權(quán)利要求1所述方法，其特征在于，還包括：

在待處理的數(shù)據(jù)塊全部被處理完畢后，依據(jù)各分布式節(jié)點處理的數(shù)據(jù)塊調(diào)整各分布式節(jié)點的數(shù)據(jù)處理能力；

在接收到與所述待處理的數(shù)據(jù)塊相同的待處理的數(shù)據(jù)塊后，依據(jù)調(diào)整后的各分布式節(jié)點的數(shù)據(jù)處理能力的大小，將待處理的數(shù)據(jù)塊存入各分布式節(jié)點。

4.根據(jù)權(quán)利要求3所述方法，其特征在于，所述依據(jù)各分布式節(jié)點處理的數(shù)據(jù)塊調(diào)整各分布式節(jié)點的數(shù)據(jù)處理能力包括：

依據(jù)第一次存入各分布式節(jié)點的數(shù)據(jù)塊的數(shù)量以及各分布式節(jié)點實際處理數(shù)據(jù)塊的數(shù)量，確定各分布式節(jié)點的數(shù)據(jù)處理本地化率；或者，依據(jù)存放在各分布式節(jié)點本地的數(shù)據(jù)塊所需的處理時間以及各分布式節(jié)點的實際數(shù)據(jù)處理時間，確定各分布式節(jié)點的數(shù)據(jù)處理本地化率；

依據(jù)各分布式節(jié)點的數(shù)據(jù)處理本地化率調(diào)整各分布式節(jié)點的數(shù)據(jù)處理能力。

5.根據(jù)權(quán)利要求1所述方法，其特征在于，所述將待處理的數(shù)據(jù)塊存入各分布式節(jié)點包括：

將待處理的數(shù)據(jù)塊存入各分布式節(jié)點，并由各分布式節(jié)點的中央處理器分配到圖形處理器進行數(shù)據(jù)處理。

6.根據(jù)權(quán)利要求1至5任意一項所述方法，其特征在于，還包括：

管理節(jié)點獲取各分布式節(jié)點的網(wǎng)絡(luò)速率；

若按照第一數(shù)據(jù)處理能力大小或者第二數(shù)據(jù)處理能力大小，會將數(shù)據(jù)塊存入第一分布式節(jié)點，并且第一分布式節(jié)點的網(wǎng)絡(luò)速率小于網(wǎng)絡(luò)速度預定閾值，則在分布式系統(tǒng)中重新選擇節(jié)點進行存放。

7.根據(jù)權(quán)利要求1所述方法，其特征在于，還包括：

在待處理的數(shù)據(jù)塊全部被處理完畢后，依據(jù)各數(shù)據(jù)塊的處理時間以及處理各數(shù)據(jù)塊的分布式節(jié)點的第一數(shù)據(jù)處理能力，確定各數(shù)據(jù)塊的數(shù)據(jù)處理量；

管理節(jié)點在接收到與所述待處理的數(shù)據(jù)塊相同的待處理的數(shù)據(jù)塊后，依據(jù)各數(shù)據(jù)塊的數(shù)據(jù)處理量以及各分布式節(jié)點的第一數(shù)據(jù)處理能力，將待處理的數(shù)據(jù)塊存入各分布式節(jié)點。

8.根據(jù)權(quán)利要求7所述方法，其特征在于，還包括：

管理節(jié)點獲取各分布式節(jié)點的網(wǎng)絡(luò)速率；

所述依據(jù)各數(shù)據(jù)塊的數(shù)據(jù)處理量以及各分布式節(jié)點的第一數(shù)據(jù)處理能力，將待處理的數(shù)據(jù)塊存入各分布式節(jié)點包括：

依據(jù)各數(shù)據(jù)塊的數(shù)據(jù)處理量、各分布式節(jié)點的網(wǎng)絡(luò)速率以及第一數(shù)據(jù)處理能力，將待處理的數(shù)據(jù)塊存入各分布式節(jié)點。

9.一種分布式系統(tǒng)的管理節(jié)點，其特征在于，包括：

數(shù)據(jù)確定單元，用于確定待處理的數(shù)據(jù)塊；

能力確定單元，用于獲取管理節(jié)點下的各分布式節(jié)點的第一數(shù)據(jù)處理能力；在各分布式節(jié)點進行數(shù)據(jù)處理過程中，通過數(shù)據(jù)處理的完成狀態(tài)確定各分布式節(jié)點的第二數(shù)據(jù)處理能力；

分配單元，用于按照所述能力確定單元確定的各分布式節(jié)點的第一數(shù)據(jù)處理能力的大小，將待處理的數(shù)據(jù)塊存入各分布式節(jié)點；依據(jù)所述能力確定單元確定的各分布式節(jié)點的第二數(shù)據(jù)處理能力將未處理的數(shù)據(jù)塊進行重新存放。

10.根據(jù)權(quán)利要求9所述管理節(jié)點，其特征在于，

所述能力確定單元，用于在各分布式節(jié)點進行數(shù)據(jù)處理過程中，管理節(jié)點通過各分布式節(jié)點的空閑計算資源、待處理數(shù)據(jù)塊的數(shù)量、網(wǎng)絡(luò)狀態(tài)以及加速比確定各分布式節(jié)點的第二數(shù)據(jù)處理能力。