[發(fā)明專利]一種針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)存儲(chǔ)與重構(gòu)方法

在審

• 申請?zhí)枺?/td>: 201410175898.6
• 申請日: 2014-04-28
• 公開（公告）號(hào): CN103916483A
• 公開（公告）日: 2014-07-09
• 發(fā)明（設(shè)計(jì)）人: 蔣海波;李娜;周星梅;陳建中;王曉京
• 申請（專利權(quán)）人: 中國科學(xué)院成都生物研究所
• 主分類號(hào): H04L29/08
• 分類號(hào): H04L29/08
• 代理公司: 成都賽恩斯知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 51212
• 代理人: 朱月仙

1.一種針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)存儲(chǔ)方法，所述編碼冗余存儲(chǔ)系統(tǒng)包含服務(wù)器端和客戶端，所述客戶端向服務(wù)器端提出文件存儲(chǔ)需求，其特征在于，所述針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)存儲(chǔ)方法包括如下步驟：

(1)所述客戶端計(jì)算待存儲(chǔ)文件的哈希值，將待存儲(chǔ)文件的哈希值上傳至服務(wù)器端；

(2)將待存儲(chǔ)文件的哈希值與服務(wù)器端已經(jīng)存儲(chǔ)的文件的哈希值進(jìn)行比對；

(3)若出現(xiàn)相同的哈希值，則服務(wù)器端不接受所述待存儲(chǔ)文件的上傳，若未出現(xiàn)相同的哈希值，則服務(wù)器端接受所述待存儲(chǔ)文件的上傳，將上傳的文件進(jìn)行分塊，計(jì)算并存儲(chǔ)各文件分塊的哈希值，將各文件分塊進(jìn)行編碼產(chǎn)生校驗(yàn)數(shù)據(jù)分塊。

2.如權(quán)利要求1所述的針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)存儲(chǔ)方法，其特征在于：所述步驟(1)客戶端計(jì)算待存儲(chǔ)文件的哈希值之前，服務(wù)器端詢問客戶端是否愿意計(jì)算待存儲(chǔ)文件的哈希值，若客戶端不愿意計(jì)算所述待存儲(chǔ)文件的哈希值，則將待存儲(chǔ)文件直接上傳服務(wù)器端，由服務(wù)器端計(jì)算所述待存儲(chǔ)文件的哈希值。

3.如權(quán)利要求2所述的針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)存儲(chǔ)方法，其特征在于：所述步驟(3)若出現(xiàn)相同的哈希值，則對已經(jīng)上傳的待存儲(chǔ)文件進(jìn)行刪除。

4.如權(quán)利要求1所述的針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)存儲(chǔ)方法，其特征在于：當(dāng)出現(xiàn)相同的哈希值，服務(wù)器端不接受所述待存儲(chǔ)文件的上傳時(shí)，服務(wù)器端接受客戶端上傳的關(guān)于存儲(chǔ)文件的文件信息，并建立所述文件信息與已經(jīng)存儲(chǔ)的具有相同哈希值的文件的關(guān)聯(lián)。

5.一種針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)重構(gòu)方法，其特征在于，所述針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)重構(gòu)方法包括如下步驟：

(1)實(shí)時(shí)檢測編碼冗余存儲(chǔ)系統(tǒng)服務(wù)器端是否有存儲(chǔ)節(jié)點(diǎn)損毀；

(2)當(dāng)有存儲(chǔ)節(jié)點(diǎn)損毀時(shí)，系統(tǒng)將損毀存儲(chǔ)節(jié)點(diǎn)的文件分塊對應(yīng)的哈希值標(biāo)記為丟失狀態(tài)，并判斷損毀的存儲(chǔ)節(jié)點(diǎn)數(shù)是否大于系統(tǒng)的設(shè)定值；

(3)當(dāng)損毀的存儲(chǔ)節(jié)點(diǎn)數(shù)大于系統(tǒng)的設(shè)定值時(shí)，編碼冗余存儲(chǔ)系統(tǒng)服務(wù)器端利用內(nèi)部計(jì)算資源對丟失的文件分塊進(jìn)行重構(gòu)，當(dāng)損毀的存儲(chǔ)節(jié)點(diǎn)數(shù)不大于系統(tǒng)的設(shè)定值時(shí)，進(jìn)入步驟(4)；

(4)實(shí)時(shí)判斷是否有客戶端提出讀取文件請求；

(5)若有客戶端提出讀取文件請求，則判斷待讀取的文件是否有文件分塊丟失；

(6)若待讀取的文件有文件分塊丟失，則判斷客戶端的硬件資源是否符合設(shè)定的硬件性能要求；

(7)若客戶端的硬件資源不符合設(shè)定的硬件性能要求，則編碼冗余存儲(chǔ)系統(tǒng)服務(wù)器端利用內(nèi)部計(jì)算資源對丟失的文件分塊進(jìn)行重構(gòu)，將恢復(fù)出的文件分塊提供給客戶端；若客戶端的硬件資源符合設(shè)定的硬件性能要求，則進(jìn)入步驟(8)；

(8)客戶端下載相關(guān)文件分塊與可以滿足恢復(fù)丟失文件分塊的校驗(yàn)數(shù)據(jù)分塊，對丟失的文件分塊進(jìn)行恢復(fù)。

6.如權(quán)利要求5所述的針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)重構(gòu)方法，其特征在于，所述步驟(7)若客戶端的硬件資源符合設(shè)定的硬件性能要求，則詢問客戶端是否愿意參與丟失文件分塊的恢復(fù)，若客戶端愿意參與丟失文件分塊的恢復(fù)，則進(jìn)入步驟(8)，若客戶端不愿意參與丟失文件分塊的恢復(fù)，則編碼冗余存儲(chǔ)系統(tǒng)服務(wù)器端利用內(nèi)部計(jì)算資源對丟失的文件分塊進(jìn)行重構(gòu)。

7.如權(quán)利要求5所述的針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)重構(gòu)方法，其特征在于，所述針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)重構(gòu)方法還包括如下步驟：

對丟失的文件分塊進(jìn)行恢復(fù)后，計(jì)算重構(gòu)的文件分塊的哈希值；

將所述重構(gòu)文件分塊的哈希值上傳至服務(wù)器端；

服務(wù)器端比較重構(gòu)文件分塊的哈希值與對應(yīng)丟失的原文件分塊的哈希值是否相同；

若重構(gòu)文件分塊的哈希值與對應(yīng)丟失的原文件分塊的哈希值相同，則允許客戶端上傳重構(gòu)的文件分塊；

客戶端上傳所述重構(gòu)的文件分塊；

服務(wù)器端計(jì)算所述上傳文件分塊的哈希值，并與對應(yīng)丟失的原文件分塊的哈希值進(jìn)行比對；

若上傳文件分塊的哈希值與對應(yīng)丟失的原文件分塊的哈希值相同時(shí)，服務(wù)器端保存所述上傳的文件分塊，并將所述上傳文件分塊對應(yīng)的哈希值設(shè)置為可用。

8.如權(quán)利要求5至7任一所述的針對編碼冗余存儲(chǔ)系統(tǒng)的自適應(yīng)數(shù)據(jù)重構(gòu)方法，其特征在于，所述系統(tǒng)的設(shè)定值在編碼所允許的容災(zāi)范圍內(nèi)。