[發(fā)明專利]一種分布式存儲系統(tǒng)中數(shù)據(jù)分布的方法及裝置

有效

• 申請?zhí)枺?/td>: 201710312963.9
• 申請日: 2017-05-05
• 公開（公告）號: CN107168649B
• 公開（公告）日: 2019-12-17
• 發(fā)明（設(shè)計）人: 強慧媛;楊洪章
• 申請（專利權(quán)）人: 南京城市職業(yè)學(xué)院
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 32252 南京鐘山專利代理有限公司
• 代理人: 戴朝榮

本發(fā)明提供一種分布式存儲系統(tǒng)中數(shù)據(jù)分布的方法及裝置，其中，所述方法包括：當(dāng)所述分布式存儲系統(tǒng)初始化時，加載初始化信息；當(dāng)在所述分布式存儲系統(tǒng)中寫入目標文件時，根據(jù)所述目標文件的尺寸以及文件塊尺寸，將所述目標文件劃分為多個切片；在所述分布式存儲系統(tǒng)中的節(jié)點中確定邏輯起始點，并確定邏輯分組長度；將節(jié)點按照邏輯分組長度劃分為多個邏輯組，并在各個邏輯組中分別選取一個偏移節(jié)點；基于所述邏輯起始點、各個偏移節(jié)點以及節(jié)點總數(shù)，確定物理分組；將根據(jù)所述目標文件劃分得到的所述多個切片依次存放于所述物理分組內(nèi)的各個節(jié)點中。本發(fā)明提供的技術(shù)方案，能夠同時滿足均衡性高、可靠性強、計算量小的評價指標。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲技術(shù)領(lǐng)域，特別涉及一種分布式存儲系統(tǒng)中數(shù)據(jù)分布的方法及裝置。

背景技術(shù)

在分布式存儲系統(tǒng)中，文件的數(shù)據(jù)內(nèi)容以塊為粒度進行切分并將其分散存儲在不同的存儲節(jié)點中，已成為一種通常的處理手段(以下簡稱分布式的處理手段)。塊的尺寸可根據(jù)系統(tǒng)中普遍的文件尺寸進行設(shè)置，典型的塊大小為4KB至4MB不等。相較于集中式的處理手段，分布式的處理手段通過數(shù)據(jù)塊分散存儲在不同節(jié)點，可以充分地發(fā)揮存儲系統(tǒng)的并發(fā)處理能力。例如讀取同一個尺寸為64MB的文件，集中式的處理手段產(chǎn)生的時延為一次讀取64MB的時延，而分布式的處理手段產(chǎn)生的時延僅為64路并發(fā)讀取1MB的時延，顯然分布式的處理手段大幅降低了讀取操作的時延。

因此，文件的數(shù)據(jù)內(nèi)容在以塊為粒度切分之后，如何分布在各存儲節(jié)點中，成為當(dāng)前分布式存儲系統(tǒng)領(lǐng)域的重要技術(shù)熱點。一般地，評價一種數(shù)據(jù)分布方法的優(yōu)劣，主要從均衡性、可靠性以及計算量方法進行考量。

現(xiàn)有的數(shù)據(jù)分布方法包括：

1.隨機選取方法。該種方式在為數(shù)據(jù)塊分配節(jié)點時完全隨機，從宏觀上來說，對于大規(guī)模的存儲系統(tǒng)而言，各節(jié)點的數(shù)據(jù)塊將會十分均衡；計算量也很小；但這種完全隨機的方法無法顯性地控制數(shù)據(jù)的各副本不在同一個故障域中，一種極端的情況甚至是同一文件的各數(shù)據(jù)塊及副本被分配到同一節(jié)點中。另外，在小規(guī)模的存儲系統(tǒng)中，各節(jié)點的均衡性難以保證。

2.固定分段選取方法。該種方式根據(jù)故障域進行分段，在段內(nèi)進行隨機選取節(jié)點，這種方式提供了較好的可靠性，計算量也不大，但是由于故障域是固定的，因此分段也是固定的，數(shù)據(jù)分布結(jié)果的可能性十分有限；同時，在節(jié)點數(shù)量無法被段數(shù)整除的情況下，亦無法保證各段的節(jié)點數(shù)量相等，因此均衡性難以得到滿足。

3.哈希選取方法。該種方式為每一個切片分配一個全局唯一的號碼，并通過某種計算規(guī)則求得散列值，然后對節(jié)點數(shù)進行求余操作，其余數(shù)即為切片所存儲的節(jié)點。該種方法具有較好的均衡性，但計算量較大，可靠性略差。

由上可見，現(xiàn)有技術(shù)中的數(shù)據(jù)分布存儲方法，均無法同時滿足均衡性高、可靠性強、計算量小的評價指標。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供一種分布式存儲系統(tǒng)中數(shù)據(jù)分布的方法及裝置，能夠同時滿足均衡性高、可靠性強、計算量小的評價指標。

為實現(xiàn)上述目的，本發(fā)明提供一種分布式存儲系統(tǒng)中數(shù)據(jù)分布的方法，所述方法包括：當(dāng)所述分布式存儲系統(tǒng)初始化時，加載初始化信息；其中，所述初始化信息包括所述分布式存儲系統(tǒng)中的節(jié)點總數(shù)、單文件分配節(jié)點數(shù)以及文件塊尺寸；當(dāng)在所述分布式存儲系統(tǒng)中寫入目標文件時，根據(jù)所述目標文件的尺寸以及所述文件塊尺寸，將所述目標文件劃分為多個切片；在所述分布式存儲系統(tǒng)中的節(jié)點中確定邏輯起始點，并根據(jù)所述節(jié)點總數(shù)和所述單文件分配節(jié)點數(shù)，確定邏輯分組長度；將所述分布式存儲系統(tǒng)中的節(jié)點按照邏輯分組長度劃分為多個邏輯組，并在各個邏輯組中分別選取一個偏移節(jié)點；基于所述邏輯起始點、各個偏移節(jié)點以及所述節(jié)點總數(shù)，確定物理分組；其中，所述物理分組中的節(jié)點的數(shù)量與所述偏移節(jié)點的數(shù)量相同；將根據(jù)所述目標文件劃分得到的所述多個切片依次存放于所述物理分組內(nèi)的各個節(jié)點中。

進一步地，按照下述公式將所述目標文件劃分為多個切片：