[發明專利]一種分布式存儲系統的數據分片方法

在審

• 申請號: 201410189121.5
• 申請日: 2014-05-06
• 公開（公告）號: CN103929500A
• 公開（公告）日: 2014-07-16
• 發明（設計）人: 劉躍
• 申請（專利權）人: 劉躍
• 主分類號: H04L29/08
• 分類號: H04L29/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 黃磊

1.一種分布式存儲系統的數據分片方法，其特征在于，包括下述步驟：?

S1、采用集群控制器管理多個節點，再將每個節點的物理存儲資源進行匯總，同步至每個節點內存中進行記錄；?

S2、每臺物理節點加入集群后，會對該節點的存儲空間進行計算，之后計算出所有節點存儲總和，將該節點存儲容量除以全部節點的容量得到權重值，再用該權重值乘以默認虛節點個數，得到該節點的虛節點實際數目，再將該節點映射至虛節點列表中生成對應數目的虛節點；?

S3、系統的分配空間請求根據負載均衡部分的一致性哈希算法得到物理節點的實際空間，具體為每個節點對應的虛節點作為哈希環中的元素，每個請求都計算哈希值，然后按順序在哈希環上搜索節點，這樣可以對存儲空間進行實際的使用，每個讀寫請求都會首先通過虛擬磁盤來進行，虛擬磁盤將讀寫請求通過元數據提供的位置服務定位至具體的物理數據對象上，每個物理對象存在于不同的物理主機上，可以通過存有多個數據對象的副本來保證數據的可靠性。?

2.根據權利要求1所述的分布式存儲系統數據分片方法，其特征在于，每一個數據片切分成多個對象，并且數據對象又會創建多份副本，數據的讀取過程如下：?

(1)用戶指定需要讀取的虛擬磁盤名稱、起始位置、長度參數；?

(2)系統根據虛擬磁盤名稱計算虛擬編號，并在對象索引中搜索，如果不存在則直接失敗返回；?

(3)通過該虛擬磁盤編號計算對象編號，并通過計算哈希值與虛節點編號列表比對，從虛節點編號列表中獲取固定副本數目的虛節點集合，并將該集合映射至物理節點中；?

(4)如果節點與本機相同，則直接從本機獲取數據對象并返回，如果不在本機則送至消息至目標節點，目標節點返回數據后逐級返回結果；?

(5)如果目標節點讀取失敗，則從其它備選節點集群中讀取數據，然后同步至損壞節點，之后逐級返回。?

3.根據權利要求1所述的分布式存儲系統數據分片方法，其特征在于，數據的寫入過程為：?

(1)用戶指定需要寫入的虛擬磁盤名稱、起始位置、長度參數；?

(2)系統根據虛擬磁盤名稱計算虛擬磁盤編號，并在對象索引中搜索，如果不存在則直接失敗返回；?

(3)通過該虛擬磁盤編號計算對象編號，并通過計算哈希值與虛節點編號列表比對，從虛節點編號列表中獲取固定副本數目的虛節點集合，并將該集合映射至物理節點中；?

(4)系統逐一向節點列表中的節點發送寫入請求，全部返回成功后返回用戶寫結果，流程結束。?

4.根據權利要求1所述的分布式存儲系統數據分片方法，其特征在于，該存儲系統包括集群控制器、空間分配模塊以及空間管理模塊，所述集群控制器、空間分配模塊以及空間管理模塊順序連接；該系統通過集群控制器監控物理節點狀態和保證數據傳輸的正確性；通過一致性哈希算法將每個存儲節點的物理空間進行統一管理，組成邏輯存儲空間；通過多副本切片方式保證系統的可靠性。?

5.根據權利要求4所述的分布式存儲系統數據分片方法，其特征在于，所述集群控制器，用于管理多個物理節點，再將每個物理節點的物理存儲資源進行匯總，同步至每個節點內存中進行記錄；?

所述空間分配模塊，根據負載均衡部分的一致性哈希算法得到物理節點的實際空間，這樣可以對存儲空間進行實際的使用，每個讀寫請求都會首先通過虛擬磁盤來進行，虛擬磁盤將讀寫請求通過元數據提供的位置服務定位至具體的物理數據對象上，每個物理對象存在于不同的物理主機上，可以通過存有多個數據對象的副本來保證數據的可靠性；?

所述空間管理模塊，空間管理模塊是虛擬塊存儲子系統對外提供空間的管理模塊，用于實現根據虛擬空間的創建、讀寫。?

6.根據權利要求4所述的分布式存儲系統數據分片方法，其特征在于，所述空間管理模塊存儲的數據交換由三個元素組成：偏移量、長度、數據，偏移量是針對本虛擬磁盤的位置，數據操作指針指向該數據塊的偏移量位置，按照指定的數據長度，做數據寫入或讀取操作。?