[發明專利]分布式存儲集群的磁盤分配方法、裝置及分布式存儲集群

在審

• 申請號: 202210333803.3
• 申請日: 2022-03-30
• 公開（公告）號: CN114816241A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉楓
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本發明實施例提供了一種分布式存儲集群的磁盤分配方法、裝置及分布式存儲集群，所述方法包括：獲取分布式存儲集群的容量值，以及分布式存儲集群中各磁盤的I/O能力值，I/O能力值用于表征磁盤當前可用的I/O能力；針對每一磁盤，基于該磁盤的I/O能力值，計算該磁盤在分布式存儲集群中的權重值；基于分布式存儲集群的容量值以及單個歸置組容量，計算分布式存儲集群的歸置組的個數；根據各磁盤在分布式存儲集群中的權重值以及歸置組的個數，計算每一磁盤當前能夠分配歸置組的個數；針對每一磁盤，按照該磁盤當前能夠分配歸置組的個數，為該磁盤分配對應的歸置組。本發明實施例，能夠提高分布式存儲集群的空間利用率。

技術領域

本發明涉及數據存儲技術領域，特別是涉及一種分布式存儲集群的磁盤分配方法、裝置及分布式存儲集群。

背景技術

分布式存儲是一種數據存儲技術，通過網絡使用企業中的每臺機器上的磁盤空間，并將這些分散的存儲資源構成一個虛擬的存儲設備，數據分散的存儲在企業的各個角落。實際應用中，分布式存儲底層數據組織形式為對象存儲，每一對象為相同塊大小的數據，為實現分布式存儲中業務上的隔離，在分布式存儲集群上創建隔離的存儲池，每個存儲池由多個歸置組組成，歸置組用于存儲數據對象(即對象)。示例性的，歸置組可以理解為一個多副本的組(比如，一個數據對象存儲3個副本，這3個副本在一個歸置組中)，歸置組可以作為分布式存儲底層存儲容量和I/O(Input/Output，輸入/輸出)的基本單元。不同數據對象會存儲到不同的歸置組中，而不同的歸置組會落到分布式存儲集群底層不同的磁盤上。隨著業務數據量的增長，分布式存儲的集群規模越來越大，分布式存儲集群中各節點上磁盤的數據平衡問題也越來越突出。

相關技術中，利用哈希算法將待存儲數據存儲至相應的歸置組中，實現數據的分布式存儲。具體的，在需要對數據分布式存儲時，獲取待存儲數據的數據標識，利用哈希算法計算該數據標識對應的哈希值，以及利用哈希算法對不同歸置組進行哈希取模得到其對應的標識值，進而對計算得到的哈希值和標識值進行匹配(例如，最相近匹配、范圍匹配等)，將待存儲數據存儲至匹配的歸置組中，其中，不同的歸置組屬于不同的磁盤。

然而，實際應用中，分布式存儲集群歸置組的總個數以及集群各節點中磁盤上的歸置組，是在集群初始化時規劃的，不同的歸置組屬于不同的磁盤，使得直接利用哈希算法將待存儲數據存儲至匹配的歸置組時，容易造成分布式存儲集群中各節點上磁盤數據分布不均勻的情況，且，當集群存在節點上下線或者節點擴縮容的情況時，也會導致各節點上磁盤數據分布不均勻，使得部分磁盤空間利用率較高，部分磁盤空間利用率較低，進而影響整個集群的存儲空間利用率，造成存儲空間的浪費。

發明內容

本發明實施例的目的在于提供一種分布式存儲集群的磁盤分配方法、裝置及分布式存儲集群，以提高分布式存儲集群的空間利用率。具體技術方案如下：

在本發明實施的第一方面，首先提供了一種分布式存儲集群的磁盤分配方法，所述方法包括：

獲取分布式存儲集群的容量值，以及所述分布式存儲集群中各磁盤的輸入/輸出I/O能力值，所述I/O能力值用于表征磁盤當前可用的I/O能力；

針對每一磁盤，基于該磁盤的I/O能力值，計算該磁盤在所述分布式存儲集群中的權重值；

基于所述分布式存儲集群的容量值以及單個歸置組容量，計算所述分布式存儲集群的歸置組的個數；

根據各所述磁盤在所述分布式存儲集群中的權重值以及所述歸置組的個數，計算每一磁盤當前能夠分配歸置組的個數；

針對每一磁盤，按照該磁盤當前能夠分配歸置組的個數，為該磁盤分配對應的歸置組。

可選地，所述方法還包括：

按照一定時間間隔獲取所述分布式存儲集群中各磁盤的當前可用容量；

針對每一磁盤，判斷該磁盤的當前可用容量是否大于第一預設閾值；