[發明專利]一種分布式系統的控制方法，及管理節點

有效

• 申請號: 201310681454.5
• 申請日: 2013-12-12
• 公開（公告）號: CN103716381A
• 公開（公告）日: 2014-04-09
• 發明（設計）人: 朱韌;周偉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08;H04L12/24
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

技術領域

本發明涉及通信技術領域，特別涉及一種分布式系統的控制方法，及管理節點。

背景技術

分布式系統（distributed?system）是建立在網絡之上的軟件系統。正是因為軟件的特性，所以分布式系統具有高度的內聚性和透明性。因此，網絡和分布式系統之間的區別更多的在于高層軟件（特別是操作系統），而不是硬件。內聚性是指每一個數據庫分布節點高度自治，有本地的數據庫管理系統。透明性是指每一個數據庫分布節點對用戶的應用來說都是透明的，看不出是本地還是遠程。在分布式數據庫系統中，用戶感覺不到數據是分布的，即用戶不須知道關系是否分割、有無副本、數據存于哪個站點以及事務在哪個站點上執行等。

在一個分布式系統中，一組獨立的計算機展現給用戶的是一個統一的整體，就好像是一個系統似的。系統擁有多種通用的物理和邏輯資源，可以動態的分配任務，分散的物理和邏輯資源通過計算機網絡實現信息交換。系統中存在一個以全局的方式管理計算機資源的分布式操作系統。通常，對用戶來說，分布式系統只有一個模型或范型。在操作系統之上有一層軟件中間件（middleware）負責實現這個模型。一個著名的分布式系統的例子是萬維網（World?Wide?Web），在萬維網中，所有的一切看起來就好像是一個文檔（Web頁面）一樣。

在計算機網絡中，這種統一性、模型以及其中的軟件都不存在。用戶看到的是實際的機器，計算機網絡并沒有使這些機器看起來是統一的。如果這些機器有不同的硬件或者不同的操作系統，那么，這些差異對于用戶來說都是完全可見的。如果一個用戶希望在一臺遠程機器上運行一個程序，那么，他必須登陸到遠程機器上，然后在那臺機器上運行該程序。

分布式系統和計算機網絡系統的共同點是：多數分布式系統是建立在計算機網絡之上的，所以分布式系統與計算機網絡在物理結構上是基本相同的。

他們的區別在于：分布式操作系統的設計思想和網絡操作系統是不同的，這決定了他們在結構、工作方式和功能上也不同。網絡操作系統要求網絡用戶在使用網絡資源時首先必須了解網絡資源，網絡用戶必須知道網絡中各個計算機的功能與配置、軟件資源、網絡文件結構等情況，在網絡中如果用戶要讀一個共享文件時，用戶必須知道這個文件放在哪一臺計算機的哪一個目錄下；分布式操作系統是以全局方式管理系統資源的，它可以為用戶任意調度網絡資源，并且調度過程是“透明”的。當用戶提交一個作業時，分布式操作系統能夠根據需要在系統中選擇最合適的處理器，將用戶的作業提交到該處理程序，在處理器完成作業后，將結果傳給用戶。在這個過程中，用戶并不會意識到有多個處理器的存在，這個系統就像是一個處理器一樣。

隨著計算機、互聯網和通訊技術的快速發展，網絡對海量級數據存儲能力和計算能力的需求日益提升。例如：云計算通過協同調度網絡中已有的軟硬件資源，實現了存儲與計算服務模式的虛擬化和透明化，并以其高效、靈活、拓展性強等諸多優勢而成為解決網絡中海量數據存儲與計算的最新方案。目前在分布式系統中實現計算分配控制的方案一般可以如下：

1、管理節點首先根據配置文件確定待處理的數據塊的數量，并獲取管理節點下的各分布式節點的數據處理能力；

2、管理節點按照各分布式節點的數據處理能力的大小確定待處理的數據塊的分配方案；

3、管理節點按照上述分配方案將待處理的數據塊存入各分布式節點；

4、分布式節點對存入本地的待處理的數據塊進行處理，并輸出數據處理結果。

以上方案，待處理的數據塊是按照數據塊的數據量或者個數來分配的，分配的參考值是以分布式節點的數據處理能力，即分布式節點的硬件處理能力。然而，實際應用中，由于數據塊內容的不同等原因，會存在巨大的數據處理量的差異，數據處理量小的數據塊會很快被計算完畢。為了充分利用分布式系統的計算能力，被分配處理量小的數據塊的分布式節點在計算完畢以后，會向計算量大的分布式節點進行數據請求，請求將其未處理的數據塊發送給自己處理。以上方案為了充分利用分布式系統的計算能力，導致數據處理的本地化率較低，分布式系統的數據處理性能也較低。

發明內容

本發明實施例提供了一種分布式系統的控制方法，及管理節點，用于在充分利用分布式系統的計算能力的前提下，提高數據處理的本地化率，并提升分布式系統的數據處理性能。

本發明實施例一方面提供了一種分布式系統的控制方法，包括：

管理節點確定待處理的數據塊，并獲取管理節點下的各分布式節點的第一數據處理能力；