[發明專利]一種分布式存儲系統中數據分布的方法及裝置

有效

• 申請號: 201710312963.9
• 申請日: 2017-05-05
• 公開（公告）號: CN107168649B
• 公開（公告）日: 2019-12-17
• 發明（設計）人: 強慧媛;楊洪章
• 申請（專利權）人: 南京城市職業學院
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 32252 南京鐘山專利代理有限公司
• 代理人: 戴朝榮

1.一種分布式存儲系統中數據分布的方法，其特征在于，所述方法包括：

當所述分布式存儲系統初始化時，加載初始化信息；其中，所述初始化信息包括所述分布式存儲系統中的節點總數、單文件分配節點數以及文件塊尺寸；

當在所述分布式存儲系統中寫入目標文件時，根據所述目標文件的尺寸以及所述文件塊尺寸，將所述目標文件劃分為多個切片；

在所述分布式存儲系統中的節點中使用隨機函數來確定邏輯起始點，并根據所述節點總數和所述單文件分配節點數，確定邏輯分組長度；

將所述分布式存儲系統中的節點按照邏輯分組長度劃分為多個邏輯組，并在各個邏輯組中使用隨機函數來分別選取一個偏移節點；

基于所述邏輯起始點、各個偏移節點以及所述節點總數，確定物理分組；其中，所述物理分組中的節點的數量與所述偏移節點的數量相同；所述物理分組中的各個節點按照下述公式確定：

Si＝(Lstart+Li)％NodeNum

其中，Si表示所述物理分組中第i個節點在所述分布式存儲系統中的節點編號，Lstart表示所述邏輯起始點在所述分布式存儲系統中的節點編號，Li表示第i個偏移節點在所述分布式存儲系統中的節點編號，NodeNum表示所述節點總數，％表示取余運算；

將根據所述目標文件劃分得到的所述多個切片依次存放于所述物理分組內的各個節點中。

2.根據權利要求1所述的方法，其特征在于，按照下述公式將所述目標文件劃分為多個切片：

其中，N表示切片的數量，K表示所述目標文件的尺寸，BlockSize表示所述文件塊尺寸。

3.根據權利要求1所述的方法，其特征在于，所述邏輯分組長度按照下述公式確定：

其中，L表示所述邏輯分組長度，NodeNum表示所述節點總數，M表示所述單文件分配節點數，表示向下取整。

4.根據權利要求1所述的方法，其特征在于，所述初始化信息中還包括文件副本個數，并且所述文件副本個數為大于或者等于2的整數；相應地，在確定物理分組之后，所述方法還包括：

將所述物理分組繼續劃分為與所述文件副本個數相匹配的物理子分組，并分別將各個文件副本存儲至相應的物理子分組中。

5.一種分布式存儲系統中數據分布的裝置，其特征在于，所述裝置包括：

初始化信息加載單元，用于當所述分布式存儲系統初始化時，加載初始化信息；其中，所述初始化信息包括所述分布式存儲系統中的節點總數、單文件分配節點數以及文件塊尺寸；

切片劃分單元，用于當在所述分布式存儲系統中寫入目標文件時，根據所述目標文件的尺寸以及所述文件塊尺寸，將所述目標文件劃分為多個切片；

邏輯分組長度確定單元，用于在所述分布式存儲系統中的節點中使用隨機函數來確定邏輯起始點，并根據所述節點總數和所述單文件分配節點數，確定邏輯分組長度；

偏移節點確定單元，用于將所述分布式存儲系統中的節點按照邏輯分組長度劃分為多個邏輯組，并在各個邏輯組中使用隨機函數來分別選取一個偏移節點；

物理分組確定單元，用于基于所述邏輯起始點、各個偏移節點以及所述節點總數，確定物理分組；其中，所述物理分組中的節點的數量與所述偏移節點的數量相同；所述物理分組確定單元按照下述公式確定所述物理分組中的各個節點：

Si＝(Lstart+Li)％NodeNum

其中，Si表示所述物理分組中第i個節點在所述分布式存儲系統中的節點編號，Lstart表示所述邏輯起始點在所述分布式存儲系統中的節點編號，Li表示第i個偏移節點在所述分布式存儲系統中的節點編號，NodeNum表示所述節點總數，％表示取余運算；

切片存放單元，用于將根據所述目標文件劃分得到的所述多個切片依次存放于所述物理分組內的各個節點中。

6.根據權利要求5所述的裝置，其特征在于，所述切片劃分單元按照下述公式將所述目標文件劃分為多個切片：

其中，N表示切片的數量，K表示所述目標文件的尺寸，BlockSize表示所述文件塊尺寸。