[發明專利]分布式存儲系統中的分區平衡方法、裝置及服務器

有效

• 申請號: 201280002939.0
• 申請日: 2012-12-27
• 公開（公告）號: CN103229487A
• 公開（公告）日: 2013-07-31
• 發明（設計）人: 高貴舉;張烽;王志美
• 申請（專利權）人: 華為技術有限公司
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 北京弘權知識產權代理事務所(普通合伙) 11363
• 代理人: 陳蕾;許偉群

技術領域

本發明涉及通信領域，尤其涉及一種分布式存儲系統中的分區平衡方法、裝置及服務器。

背景技術

隨著計算機技術和網絡技術的發展，信息量呈現幾何級數的增長，人類的數據達到前所未有的規模，對這些超大規模數據的存儲和管理已經成為工業界一大挑戰。用傳統的集中存儲管理超大規模數據時，無法提供高效的讀寫操作，無法滿足良好的擴展性以及高可用性。在這種背景下，出現了各種基于非關系型數據庫的分布式存儲系統。

只要涉及到數據存儲，就必然存在數據損壞后的恢復操作。在各種基于非關系型數據庫的分布式存儲系統中，因為存儲規模龐大，所以單點故障會成為系統的常態。所述分布式存儲系統中一般都保存有多份副本，所以，維持數據的副本數量穩定也成為系統的迫切需求。另外，隨著人們對存儲系統可持續工作需求的日益劇增，分布式存儲系統的在線擴容也成為系統基本功能的不可或缺部分。那么怎么在系統數據有損壞的情況下盡快的做好數據恢復、系統容量不足時如何及時做好系統的在線擴容需求，成為當前技術的重點。所述數據恢復和在線擴容一般被統稱為分區平衡。

目前，沒有關于分布式存儲系統分區平衡的技術方案公開。

發明內容

本發明實施例提供一種分布式存儲系統中的分區平衡方法、裝置及服務器，能夠實現分布式存儲系統的分區平衡，也即實現數據恢復和在線擴容。

為了解決上述技術問題，本發明實施例公開了如下技術方案：

第一方面，本發明實施例提供一種分布式存儲系統中的分區平衡方法，包括：

需要進行分區平衡時，確定各個分區的最新狀態；

根據各個分區的最新狀態進行分區平衡處理，得到源節點、源節點上的遷移分區以及目標節點三者之間的對應關系；

向所述對應關系中的目標節點發送遷移任務；所述遷移任務中包括：在所述對應關系中，所述目標節點對應的源節點以及源節點上的遷移分區；所述遷移任務用于指示目標節點觸發目標節點與對應的源節點之間的數據遷移，所述數據遷移是將源節點上遷移分區中的數據遷移至目標節點。

結合上述第一方面，在第一種可能的實現方式中，所述分區平衡處理為數據恢復處理；所述根據各個分區的最新狀態進行分區平衡處理包括：

統計處于故障狀態的節點上的分區，將統計得到的分區作為故障分區；

對于每個故障分區，確定故障分區的副本分區，從故障分區的副本分區中確定一個處于參與允許狀態的副本分區作為該故障分區的遷移分區，將所述遷移分區所在的節點作為源節點；

確定每個遷移分區對應的目標節點，得到源節點、源節點上的遷移分區以及目標節點之間的對應關系。

結合上述第一種可能的實現方式，在第二種可能的實現方式中，所述確定每個遷移分區對應的目標節點包括：

根據以下原則確定每個遷移分區對應的目標節點：同一分區的副本分區不在同一節點、或同一框、或同一機架。

結合上述第一方面，在第三種可能的實現方式中，所述分區平衡處理為在線擴容處理；所述根據各個分區的最新狀態進行分區平衡處理包括：

分別計算擴容前和擴容后節點的平均分區數，并且，確定新增加的節點為目標節點；

根據所述各個分區的最新狀態以及所述擴容前和擴容后節點的平均分區數確定各個目標節點對應的源節點和遷移分區，得到目標節點、源節點以及源節點上遷移分區之間的對應關系。

結合上述第一方面，和/或，第一種可能的實現方式，和/或，第二種可能的實現方式，和/或，第三種可能的實現方式，在第四種可能的實現方式中，確定各個分區的最新狀態包括：

根據當前正在進行平衡處理的各個分區的狀態更新分區狀態表，得到各個分區的最新狀態，所述分區狀態表中存儲有各個分區的狀態。

第二方面，本發明實施例提供一種分布式存儲系統中的分區平衡裝置，包括：

確定單元，用于需要進行分區平衡時，確定各個分區的最新狀態；

處理單元，用于根據各個分區的最新狀態進行分區平衡處理，得到源節點、源節點上的遷移分區以及目標節點三者之間的對應關系；

發送單元，用于向所述對應關系中的目標節點發送遷移任務；所述遷移任務中包括：在所述對應關系中，所述目標節點對應的源節點以及源節點上的遷移分區；所述遷移任務用于指示目標節點觸發目標節點與對應的源節點之間的數據遷移，所述數據遷移是將源節點上遷移分區中的數據遷移至目標節點。

結合上述第二方面，在第一種可能的實現方式中，所述分區平衡處理為數據恢復處理；所述處理單元具體包括：