[發(fā)明專利]一種基于糾刪碼集群存儲系統(tǒng)的局部式數(shù)據(jù)更新方法

無效

• 申請?zhí)枺?/td>: 201210110334.5
• 申請日: 2012-04-16
• 公開（公告）號: CN102681793A
• 公開（公告）日: 2012-09-19
• 發(fā)明（設(shè)計(jì)）人: 黃建忠;曹強(qiáng);謝長生;張峰豪;劉政澤
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F11/08
• 代理公司: 華中科技大學(xué)專利中心 42201
• 代理人: 朱仁玲

技術(shù)領(lǐng)域

本發(fā)明屬于數(shù)據(jù)存儲領(lǐng)域，更具體地，涉及一種基于糾刪碼集群存儲系統(tǒng)的局部式數(shù)據(jù)更新方法。

背景技術(shù)

近年來，多址傳輸已成為互聯(lián)網(wǎng)的一個(gè)重要組成成分，大型軟件通過互聯(lián)網(wǎng)傳送給眾多用戶時(shí)要求用多址傳輸或廣播傳輸。這些傳輸必須是完全可靠的，同時(shí)要有小的網(wǎng)絡(luò)開銷和支持眾多各類用戶的隨機(jī)訪問。達(dá)成這種目的需要借助一種編碼的方法，即把傳輸?shù)膋比特的原數(shù)據(jù)編碼為n(n＞k)比特的數(shù)據(jù)后發(fā)送出去，若接受方接受到足夠量的數(shù)據(jù)，則運(yùn)用適當(dāng)?shù)淖g碼方法就可恢復(fù)k個(gè)比特的源數(shù)據(jù)，稱這種碼為前向糾錯(cuò)碼，或稱糾刪碼。

正是因?yàn)榧m刪碼的這種高容錯(cuò)特性，其被廣泛應(yīng)用于大規(guī)模的集群存儲系統(tǒng)之中。如圖1所示，糾刪碼集群存儲系統(tǒng)的磁盤被劃分為k個(gè)數(shù)據(jù)節(jié)點(diǎn)和m個(gè)校驗(yàn)節(jié)點(diǎn)(k+m＝n為總節(jié)點(diǎn)數(shù))。其中k個(gè)數(shù)據(jù)節(jié)點(diǎn)存放的數(shù)據(jù)塊為原始的數(shù)據(jù)，m個(gè)校驗(yàn)節(jié)點(diǎn)存放的數(shù)據(jù)塊是經(jīng)過特定矩陣運(yùn)算出來的校驗(yàn)數(shù)據(jù)，其中，k+m個(gè)數(shù)據(jù)塊組成的集合稱之為條帶。這樣便保證了即使集群中m個(gè)任意節(jié)點(diǎn)發(fā)生故障的情況下，系統(tǒng)都能夠做出正確的相應(yīng)并且能夠自我從故障中恢復(fù)。

然而，現(xiàn)有糾刪碼集群存儲系統(tǒng)存在著以下問題：對于數(shù)據(jù)更新的策略只采用簡單的更新管理器來進(jìn)行管理，并沒有對消耗的網(wǎng)絡(luò)帶寬及數(shù)據(jù)更新的耗時(shí)進(jìn)行足夠的優(yōu)化；此外，由于糾刪碼的編碼特性，當(dāng)有數(shù)據(jù)更新時(shí)除了影響到自身數(shù)據(jù)節(jié)點(diǎn)的更新，也要對所有的校驗(yàn)節(jié)點(diǎn)更新，如果按照傳統(tǒng)的更新方式，即在客戶端讀數(shù)據(jù)，計(jì)算出新的數(shù)據(jù)再寫回，需要頻繁的進(jìn)行網(wǎng)絡(luò)傳輸，則使得數(shù)據(jù)的更新很大程度受到網(wǎng)絡(luò)帶寬的影響，也就影響到了整個(gè)系統(tǒng)的響應(yīng)時(shí)間和帶寬損耗。

發(fā)明內(nèi)容

針對現(xiàn)有技術(shù)的缺陷，本發(fā)明的目的在于提供一種基于糾刪碼集群存儲系統(tǒng)的局部式數(shù)據(jù)更新方法，其能夠在只有小型數(shù)據(jù)更新的情況下有效地提高系統(tǒng)的響應(yīng)時(shí)間，并能有效減小帶寬的消耗，減小更新服務(wù)器的負(fù)載，從而提高系統(tǒng)性能。

為實(shí)現(xiàn)上述目的，本發(fā)明提供了一種基于糾刪碼集群存儲系統(tǒng)的局部式數(shù)據(jù)更新方法，包括以下步驟：

(1)接收用戶發(fā)出的對數(shù)據(jù)D₀的更新請求，并根據(jù)更新請求將數(shù)據(jù)D₀更新為D₀’；

(2)將更新后的數(shù)據(jù)D₀’發(fā)送到待更新的數(shù)據(jù)節(jié)點(diǎn)；

(3)待更新的數(shù)據(jù)節(jié)點(diǎn)從本地磁盤讀取數(shù)據(jù)D₀到內(nèi)存中；

(4)利用等式P_j^*＝a_j，0*(D₀’-D₀)在待更新的數(shù)據(jù)節(jié)點(diǎn)的內(nèi)存中計(jì)算出所有m個(gè)冗余節(jié)點(diǎn)需要的臨時(shí)數(shù)據(jù)塊集合{P₀^*，P₁^*，...，P_m-1^*}，其中j＝0，...，m-1，P_j^*表示第j個(gè)冗余節(jié)點(diǎn)所需要的臨時(shí)數(shù)據(jù)塊，a_j，0表示糾刪碼的生成矩陣第j行第0列的元素；

(5)數(shù)據(jù)節(jié)點(diǎn)將更新后的數(shù)據(jù)D₀’寫入本地磁盤；

(6)數(shù)據(jù)節(jié)點(diǎn)將m個(gè)臨時(shí)數(shù)據(jù)塊通過網(wǎng)絡(luò)并行發(fā)送至m個(gè)冗余節(jié)點(diǎn)上；

(7)第j個(gè)冗余節(jié)點(diǎn)從本地磁盤讀取原始的冗余數(shù)據(jù)P_j，并利用接收到的臨時(shí)數(shù)據(jù)塊P_j^*以及等式P_j’＝P_j^*+P_j計(jì)算出新的校驗(yàn)數(shù)據(jù)P_j’，其中j＝0，...，m-1；

(8)第j個(gè)冗余節(jié)點(diǎn)將計(jì)算得到的校驗(yàn)數(shù)據(jù)P_j’寫到本地磁盤上，并向數(shù)據(jù)節(jié)點(diǎn)發(fā)送更新完畢的信號；

(9)重復(fù)步驟(7)和(8)，直到所有m個(gè)冗余節(jié)點(diǎn)都處理完畢為止；

(10)數(shù)據(jù)節(jié)點(diǎn)接收完所有冗余節(jié)點(diǎn)發(fā)送的更新完畢的信號后，向糾刪碼集群存儲系統(tǒng)發(fā)送更新完畢的信號。

通過本發(fā)明所構(gòu)思的以上技術(shù)方案，與現(xiàn)有技術(shù)相比，本發(fā)明具有以下的有益效果：

(1)節(jié)約帶寬，減少了由更新帶來的寫回操作(即縮短了更新鏈)，有效減少了數(shù)據(jù)在網(wǎng)絡(luò)中的傳輸，節(jié)約了帶寬；