[發明專利]分布式存儲的方法、裝置和系統

在審

• 申請號: 201310050257.3
• 申請日: 2013-02-08
• 公開（公告）號: CN103984607A
• 公開（公告）日: 2014-08-13
• 發明（設計）人: 馮斌;黃澄;龔學文
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F12/08
• 代理公司: 北京龍雙利達知識產權代理有限公司 11329
• 代理人: 王君;肖鸝

1.一種分布式存儲方法，其特征在于，包括：

對數據文件進行分割，生成K個數據切片，對所述K個數據切片中的每個數據切片進行分割，針對每個數據切片生成M個數據塊，并且采用冗余算法對所述M個數據塊進行校驗編碼，生成N個校驗塊；

利用隨機算法確定與所述M個數據塊或N個校驗塊中的一個數據塊或一個校驗塊對應的第一物理存儲節點，并且基于所述第一物理存儲節點按照符合預設規則的第一排序方式確定至少M+1個不同的物理存儲節點；

將所述M個數據塊和所述N個校驗塊中的至少M+1個塊分別存儲在所述至少M+1不同的物理存儲節點上，所述K、M和N為正整數。

2.根據權利要求1所述的分布式存儲方法，其特征在于，所述利用隨機算法確定與所述M個數據塊或N個校驗塊中的一個數據塊或校驗塊對應的第一物理存儲節點，包括：

對所述M個數據塊或N個校驗塊中的一個數據塊或校驗塊的標識符進行哈希計算生成關鍵值；

根據所述關鍵值確定與所述M個數據塊或N個校驗塊中的一個數據塊或者校驗塊對應的物理存儲節點，并將所述物理存儲節點作為所述的第一物理存儲節點。

3.根據權利要求1所述的分布式存儲方法，其特征在于，所述利用隨機算法確定與所述M個數據塊或N個校驗塊中的一個數據塊或校驗塊對應的第一物理存儲節點，包括：

對分割成所述M個數據塊的所述數據切片的標識符進行哈希計算生成關鍵值；

根據所述關鍵值確定與所述M個數據塊或N個校驗塊中的一個數據塊或者校驗快對應的物理存儲節點，并將所述物理存儲節點作為所述的第一物理存儲節點。

4.根據權利要求1至3中的任一項所述的分布式存儲方法，其特征在于，所述基于所確定的第一物理存儲節點按照所述第一排序方式確定至少M+1個不同的物理存儲節點，包括：

基于所述第一物理存儲節點按照所述第一排序方式確定M+N個不同的物理存儲節點，

其中所述將所述M個數據塊和所述N個校驗塊中的至少M+1個塊分別存儲在至少M+1個不同的物理存儲節點上，包括：

將所述M個數據塊和所述N個校驗塊分別存儲在所述M+N個不同的物理存儲節點上。

5.根據權利要求1至4中的任一項所述的分布式存儲方法，其特征在于，所述基于所述第一物理存儲節點按照所述第一排序方式確定至少M+1個不同的物理存儲節點，包括：

將所述第一物理存儲節點與所述至少M+1個塊中的1個塊對應，并以所述第一物理存儲節點的位置為基準，按照所述第一排序方式確定所述至少M+1個塊中的其它至少M個塊對應的物理存儲節點，其中所述M+1個不同的物理存儲節點包括所述第一物理存儲節點；

或者，

以所述第一物理存儲節點的位置為基準，按照所述第一排序方式確定所述至少M+1個塊對應的物理存儲節點，其中所述M+1個不同的物理存儲節點不包括所述第一物理存儲節點。

6.根據權利要求1至5中的任一項所述的分布式存儲方法，其特征在于，所述不同的物理存儲節點為硬盤，所述硬盤的數目等于或者大于M+1；

或者，

所述不同的物理存儲節點為服務器，其中所述服務器的數目等于或者大于M+1；

或者，

所述不同的物理存儲節點為機架，其中所述機架的數目等于或者大于M+1。

7.根據權利要求1至6中的任一項所述的分布式存儲方法，其特征在于，還包括：

在存儲有所述M個數據塊和所述N個校驗塊中的至少M+1個塊的所述至少M+1個不同的物理存儲節點之一發生故障的情況下，將所述至少M+1個不同的物理存儲節點中發生故障的物理存儲節點上的數據恢復到所述物理存儲節點所在的分布式存儲系統中的熱備用存儲節點上。