[發(fā)明專利]一種異構(gòu)分布式存儲的容量和帶寬折中方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 201911355800.4
• 申請日: 2019-12-25
• 公開（公告）號: CN111131457B
• 公開（公告）日: 2021-11-30
• 發(fā)明（設(shè)計）人: 駱源;王旌兆;顧振興
• 申請（專利權(quán)）人: 上海交通大學(xué)
• 主分類號: H04L29/08
• 分類號: H04L29/08;G06F3/06
• 代理公司: 上海漢聲知識產(chǎn)權(quán)代理有限公司 31236
• 代理人: 胡晶

本發(fā)明提供了一種異構(gòu)分布式存儲的容量和帶寬折中方法及系統(tǒng)，包括:客戶端模塊，修復(fù)序列生成模塊和折中曲線繪制模塊；通過客戶端模塊輸入模塊輸入存儲系統(tǒng)的參數(shù)信息；將存儲系統(tǒng)的參數(shù)信息輸入到修復(fù)序列生成模塊，得到修復(fù)序列；將修復(fù)序列輸出至折中曲線繪制模塊，得到折中曲線，輸出至客戶端模塊的輸出模塊；所述修復(fù)序列生成模塊：對于任意帶寬和容量，分析修復(fù)序列對最小割的影響，生成信息流圖最小割最小的修復(fù)序列；所述折中曲線繪制模塊：繪制存儲系統(tǒng)的存儲容量和修復(fù)帶寬的折中曲線。本發(fā)明針對異構(gòu)分布式存儲系統(tǒng)，分析不同的修復(fù)方案所能達到的文件存儲大小的上界，提出了存儲容量和修復(fù)帶寬折中曲線繪制方法。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)存儲領(lǐng)域，具體地，涉及一種異構(gòu)分布式存儲容量和帶寬折中方法及系統(tǒng)，更為具體地，涉及用于異構(gòu)分布式存儲系統(tǒng)的容量的計算和存儲容量和修復(fù)帶寬的折中曲線的繪制。

背景技術(shù)

近年來，隨著互聯(lián)網(wǎng)技術(shù)的高速發(fā)展，以及整個信息行業(yè)的發(fā)展，信息被海量產(chǎn)生、傳輸、處理和存儲，并成指數(shù)級增長趨勢。為了滿足海量數(shù)據(jù)的存儲需求，分布式存儲系統(tǒng)由于其成本低、擴展性強、訪問速度快、可靠性高、支持更高的并發(fā)訪問量等特點得到了廣泛的應(yīng)用。

糾刪碼能夠在保證較高數(shù)據(jù)可靠性的情況下大大減少數(shù)據(jù)冗余，因此在分布式存儲系統(tǒng)中得到廣泛的應(yīng)用。糾刪碼的工作原理如下：一個糾刪碼通常是使利用線性碼的編碼技術(shù)對文件進行編碼，大小為的原始數(shù)據(jù)被劃分和編碼成份大小的數(shù)據(jù)并存儲在個節(jié)點上。如果一個糾刪碼滿足性質(zhì)：任意份數(shù)據(jù)都可以恢復(fù)出原始數(shù)據(jù)，那么我們就稱這個糾刪碼滿足MDS(Maximum Distance Separate)性質(zhì)。滿足MDS性質(zhì)的線性碼被稱為MDS碼。MDS碼是一類存儲效率非常高的編碼方案。雖然MDS碼在冗余和可靠性權(quán)衡方面是最優(yōu)的，但是修復(fù)一個節(jié)點時，也需要訪問其它個完好的節(jié)點。如果我們對其中一些信息位(小于個)再添加額外的校驗信息，那么在這些節(jié)點損壞時，就可以只訪問這些有校驗關(guān)系的節(jié)點，而不需要訪問個節(jié)點。這樣添加額外的校驗位，雖然在一定程度上降低了存儲效率，但是可以大量節(jié)省修復(fù)帶寬。

如上所述，傳統(tǒng)糾刪碼在修復(fù)損壞節(jié)點時需要使用大量的網(wǎng)絡(luò)帶寬，而添加額外的校驗位則降低了存儲效率。為了平衡存儲容量和修復(fù)帶寬的關(guān)系，信息流圖被引入用以對分布式存儲系統(tǒng)建模，利用網(wǎng)絡(luò)編碼的方法定義系統(tǒng)容量，并據(jù)此刻畫出節(jié)點的存儲容量和節(jié)點的修復(fù)帶寬之間的折中關(guān)系。再生碼的構(gòu)造主要基于最優(yōu)折中關(guān)系曲線上的最小存儲點和最小帶寬點，分別對應(yīng)于最小存儲再生(Minimum Storage Regenerating，MSR)碼和最小帶寬再生(Minimum Bandwidth Regenerating，MBR)碼。

以上的糾刪碼數(shù)據(jù)修復(fù)的研究都基于這樣一個假定:分布式存儲系統(tǒng)中各個節(jié)點是無差別的。在實際的分布式系統(tǒng)中，系統(tǒng)往往是異構(gòu)的，即每個節(jié)點存儲數(shù)據(jù)量和從幫助節(jié)點下載的數(shù)據(jù)量是不同的。在這種情況下，異構(gòu)分布式存儲系統(tǒng)的容量和修復(fù)帶寬折中界推算是非常重要的，因為再生碼的構(gòu)造需要依據(jù)存儲容量和修復(fù)帶寬的折中關(guān)系曲線。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)中的缺陷，本發(fā)明的目的是提供一種異構(gòu)分布式存儲的容量和帶寬折中方法及系統(tǒng)。

根據(jù)本發(fā)明提供的一種異構(gòu)分布式存儲的容量和帶寬折中系統(tǒng)，包括:

模塊M1：通過客戶端模塊輸入存儲系統(tǒng)的參數(shù)信息；

模塊M2：將存儲系統(tǒng)的參數(shù)信息輸入到修復(fù)序列生成模塊，得到修復(fù)序列；

模塊M3：通過修復(fù)序列計算存儲系統(tǒng)能正確存儲的文件的大小系統(tǒng)的存儲容量、帶寬之間的關(guān)系；利用存儲容量、帶寬之間的關(guān)系，通過折中曲線繪制步驟來繪制曲線；

所述客戶端模塊，作為用戶接口；

所述修復(fù)序列生成模塊：對于任意帶寬和容量，分析修復(fù)序列對最小割的影響，生成信息流圖最小割最小的修復(fù)序列；