[發(fā)明專利]基于低修復(fù)帶寬的云存儲(chǔ)系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710544567.9
• 申請(qǐng)日: 2017-07-05
• 公開（公告）號(hào): CN107689983B
• 公開（公告）日: 2021-02-12
• 發(fā)明（設(shè)計(jì)）人: 駱源;徐亞寧
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08;H04L12/24;H04L1/00
• 代理公司: 上海漢聲知識(shí)產(chǎn)權(quán)代理有限公司 31236
• 代理人: 郭國中

1.一種基于低修復(fù)帶寬的云存儲(chǔ)系統(tǒng)，其特征在于，包括數(shù)據(jù)插入和讀取模塊、編碼預(yù)處理模塊、數(shù)據(jù)文件編碼模塊、數(shù)據(jù)文件解碼模塊、數(shù)據(jù)文件管理模塊、數(shù)據(jù)存儲(chǔ)模塊以及數(shù)據(jù)修復(fù)模塊；其中：

所述數(shù)據(jù)插入和讀取模塊工作于客戶端，用于向用戶提供訪問接口，以使用戶能夠向主服務(wù)器發(fā)送插入、讀取以及刪除數(shù)據(jù)命令；

所述數(shù)據(jù)插入包括：通過異或運(yùn)算將預(yù)處理后的數(shù)據(jù)進(jìn)行高速編碼運(yùn)算，然后將編碼后的數(shù)據(jù)分發(fā)到數(shù)據(jù)存儲(chǔ)模塊的各個(gè)存儲(chǔ)節(jié)點(diǎn)上進(jìn)行存儲(chǔ)；

所述數(shù)據(jù)讀取包括：對(duì)從數(shù)據(jù)存儲(chǔ)模塊的各個(gè)存儲(chǔ)節(jié)點(diǎn)讀取出的數(shù)據(jù)進(jìn)行解碼，得到編碼前的數(shù)據(jù)，對(duì)編碼前的數(shù)據(jù)去掉用于對(duì)齊的冗余數(shù)據(jù)，得到重構(gòu)后的原始數(shù)據(jù)，并將重構(gòu)后的原始數(shù)據(jù)發(fā)送給客戶端；

所述編碼預(yù)處理模塊工作于主服務(wù)器上，用于對(duì)原始數(shù)據(jù)進(jìn)行數(shù)據(jù)預(yù)處理；

所述數(shù)據(jù)文件編碼模塊工作于主服務(wù)器上，用于對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行編碼，產(chǎn)生數(shù)據(jù)插入；

所述數(shù)據(jù)文件解碼模塊工作于主服務(wù)器上，用于對(duì)插入的數(shù)據(jù)進(jìn)行數(shù)據(jù)解碼重構(gòu)，產(chǎn)生數(shù)據(jù)讀取；

所述數(shù)據(jù)文件管理模塊工作于主服務(wù)器上，用于存儲(chǔ)原始數(shù)據(jù)的元數(shù)據(jù)；

所述數(shù)據(jù)存儲(chǔ)模塊工作于存儲(chǔ)服務(wù)器，包括多個(gè)存儲(chǔ)節(jié)點(diǎn)，其中一部分存儲(chǔ)節(jié)點(diǎn)用于存儲(chǔ)未經(jīng)編碼的原始數(shù)據(jù)，另一部分存儲(chǔ)節(jié)點(diǎn)用于存儲(chǔ)編碼后的冗余數(shù)據(jù)，所述數(shù)據(jù)存儲(chǔ)模塊采用糾刪碼技術(shù)保證數(shù)據(jù)存儲(chǔ)可靠性；

所述數(shù)據(jù)修復(fù)模塊工作于候補(bǔ)存儲(chǔ)服務(wù)器，用于數(shù)據(jù)存儲(chǔ)模塊上故障節(jié)點(diǎn)的數(shù)據(jù)修復(fù)，所述數(shù)據(jù)修復(fù)模塊包括：

-修復(fù)策略制定模塊，根據(jù)數(shù)據(jù)存儲(chǔ)模塊的故障節(jié)點(diǎn)及存活節(jié)點(diǎn)集合決定故障節(jié)點(diǎn)的修復(fù)策略，使修復(fù)帶寬達(dá)到最小；

-修復(fù)運(yùn)算模塊，根據(jù)修復(fù)策略從存活節(jié)點(diǎn)集合下載數(shù)據(jù)，并計(jì)算復(fù)原故障節(jié)點(diǎn)上的數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)存儲(chǔ)模塊上的新加入存儲(chǔ)節(jié)點(diǎn)；

所述修復(fù)策略采用基于互信息量的修復(fù)機(jī)制。

2.根據(jù)權(quán)利要求1所述的基于低修復(fù)帶寬的云存儲(chǔ)系統(tǒng)，其特征在于，所述數(shù)據(jù)預(yù)處理包括：對(duì)希望插入的原始數(shù)據(jù)進(jìn)行均等分片，當(dāng)出現(xiàn)不能均等分片時(shí)，插入冗余數(shù)據(jù)進(jìn)行對(duì)齊。

3.一種基于低修復(fù)帶寬的云存儲(chǔ)方法，其特征在于，采用權(quán)利要求1所述的一種基于低修復(fù)帶寬的云存儲(chǔ)系統(tǒng)進(jìn)行云存儲(chǔ)，包括如下任一個(gè)或任多個(gè)步驟：

-系統(tǒng)初始化階段：在主服務(wù)器上設(shè)置編碼參數(shù)，設(shè)數(shù)據(jù)存儲(chǔ)模塊中共有n個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)A＝{A₁，A₂，…，A_n}，每個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)獨(dú)立存儲(chǔ)本地?cái)?shù)據(jù)，其中前k個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)A＝{A₁，A₂，…，A_k}用于存儲(chǔ)未經(jīng)編碼的原始數(shù)據(jù)，后(n-k)個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)用于存儲(chǔ)編碼后的冗余數(shù)據(jù)；

-用戶插入數(shù)據(jù)階段：用戶通過客戶端的數(shù)據(jù)插入和讀取模塊向主服務(wù)器發(fā)送插入數(shù)據(jù)命令，并通過主服務(wù)器上的數(shù)據(jù)文件編碼模塊將編碼后的數(shù)據(jù)發(fā)送給存儲(chǔ)服務(wù)器上的數(shù)據(jù)存儲(chǔ)模塊；

-數(shù)據(jù)文件編碼階段：主服務(wù)器上的編碼預(yù)處理模塊，將希望插入的原始數(shù)據(jù)進(jìn)行均等分片，當(dāng)出現(xiàn)不能均等分片時(shí)，插入冗余數(shù)據(jù)進(jìn)行對(duì)齊，將分片后的數(shù)據(jù)存儲(chǔ)在前k個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)A＝{A₁，A₂，…，A_k}，然后通過線性編碼生成(n-k)個(gè)校驗(yàn)數(shù)據(jù)塊，發(fā)送給剩余的(n-k)個(gè)數(shù)據(jù)存儲(chǔ)節(jié)點(diǎn)；

-用戶讀取數(shù)據(jù)階段：用戶通過客戶端的數(shù)據(jù)插入和讀取模塊向主服務(wù)器發(fā)送讀取數(shù)據(jù)命令，并通過主服務(wù)器上的數(shù)據(jù)文件解碼模塊將解碼后的原始數(shù)據(jù)發(fā)送給客戶端；

-數(shù)據(jù)文件解碼階段：首先從數(shù)據(jù)存儲(chǔ)模塊的各個(gè)存儲(chǔ)節(jié)點(diǎn)讀取數(shù)據(jù)，解碼出編碼前的數(shù)據(jù)，然后對(duì)編碼前的數(shù)據(jù)去掉用于對(duì)齊的冗余數(shù)據(jù)，得到重構(gòu)后的原始數(shù)據(jù)，最后將重構(gòu)后的原始數(shù)據(jù)發(fā)送給客戶端；

-故障節(jié)點(diǎn)的修復(fù)階段：在數(shù)據(jù)存儲(chǔ)模塊的某一存儲(chǔ)節(jié)點(diǎn)發(fā)生故障時(shí)，主服務(wù)器通過數(shù)據(jù)修復(fù)模塊主動(dòng)向數(shù)據(jù)存儲(chǔ)模塊的其他存活節(jié)點(diǎn)讀取數(shù)據(jù)后進(jìn)行修復(fù)，并將修復(fù)后的數(shù)據(jù)存儲(chǔ)于數(shù)據(jù)存儲(chǔ)模塊的新加入存儲(chǔ)節(jié)點(diǎn)。

4.根據(jù)權(quán)利要求3所述的基于低修復(fù)帶寬的云存儲(chǔ)方法，其特征在于，所述故障節(jié)點(diǎn)的修復(fù)階段采用基于互信息量的修復(fù)機(jī)制進(jìn)行故障節(jié)點(diǎn)的修復(fù)。