[發(fā)明專利]在存儲群集中的擦除編碼和復(fù)制

有效

• 申請?zhí)枺?/td>: 201380043101.0
• 申請日: 2013-06-04
• 公開（公告）號: CN104541251B
• 公開（公告）日: 2017-09-05
• 發(fā)明（設(shè)計）人: D.貝克;P.R.M.卡彭捷;A.克拉格;A.皮爾斯;J.林;R.特平;D.約亞克利
• 申請（專利權(quán)）人: 卡林戈公司
• 主分類號: G06F12/00
• 分類號: G06F12/00
• 代理公司: 中國專利代理(香港)有限公司72001
• 代理人: 張凌苗,張懿

技術(shù)領(lǐng)域

本發(fā)明一般地涉及擦除編碼。更具體地，本發(fā)明涉及在固定內(nèi)容存儲群集中的擦除編碼和復(fù)制的組合，并且涉及當使用擦除編碼時的卷故障恢復(fù)。

背景技術(shù)

傳統(tǒng)地，在存儲群集中提供的存儲（例如，通過使用獨立節(jié)點的冗余陣列，或RAIN）相對于通過存儲的對象的復(fù)制或存儲的對象的擦除編碼的硬件故障是可靠的。前者具有相同的獨特標識符可以訪問多個復(fù)制品（例如，使用日志和基于RAM的索引方案）的優(yōu)勢，但是具有高的帶寬和存儲開銷（取決于期望的復(fù)制品的數(shù)量，大的對象可以占用顯著量的空間）的缺點。后者享有針對類似級別的相對于介質(zhì)故障的保護的較小的存儲腳印以及較少的開銷的好處，但是遭受的缺陷在于擦除集合的每個段是必須分離地標識的不同內(nèi)容，以便讀取對象或重新構(gòu)建任何丟失的段。當重新啟動存儲群集時，該標識可能是特別有問題的。擦除編碼在存儲小的對象時也將招致較高的處理開銷并且丟失其腳印優(yōu)勢。

因此，兩種技術(shù)都具有缺陷。進一步地，可應(yīng)用于擦除編碼的某些現(xiàn)有技術(shù)方法使用與存儲群集分離的控制數(shù)據(jù)庫，以便標識和跟蹤特定對象的段；該方法時有問題的，因為其引入更多的開銷，并且令人懷疑該控制數(shù)據(jù)庫的可用性以及其是否需要被復(fù)制。此外，即使在擦除編碼下可以使用被用于對該對象進行編碼的段的子集來重新構(gòu)建對象（例如，如果存在磁盤故障），不僅標識哪些片段不再存在是費時的，而且定位剩余的段也是費時的。

相應(yīng)地，期望改進的技術(shù)用于與存儲群集一起使用，以便利用復(fù)制和擦除編碼的優(yōu)勢，以及在硬件故障之后限制暴露。

發(fā)明內(nèi)容

為了實現(xiàn)前述內(nèi)容，并根據(jù)本發(fā)明的目的，公開了組合對象復(fù)制和擦除編碼兩者以便利用各自的優(yōu)點的存儲群集。

在一個實施例中，一種方法在存儲群集中存儲數(shù)字對象。首先，存儲群集在存儲群集的計算機節(jié)點處從客戶端應(yīng)用接收請求來存儲數(shù)字對象。存儲群集然后確定是使用復(fù)制還是擦除編碼在存儲群集中存儲數(shù)字對象。可以通過參考來自客戶端的指令、對象的固有屬性、對象的元數(shù)據(jù)、群集設(shè)置或其他手段來做出該確定。當確定使用擦除編碼存儲數(shù)字對象時，存儲群集使用擦除編碼將數(shù)字對象寫入到存儲群集的多個計算機節(jié)點，并且數(shù)字對象被存儲為多個段。另外，創(chuàng)建清單計算機文件，其包括擦除編碼的指示以及在存儲群集內(nèi)針對每個段的獨特標識符。存儲群集然后將清單計算機文件存儲在群集的一個或多個節(jié)點上，并且向客戶端應(yīng)用返回清單計算機文件的獨特標識符。清單與其他數(shù)字對象是可區(qū)分的。

在另一實施例中，一個方法從具有多個計算機節(jié)點的存儲群集讀取數(shù)字對象。首先，在存儲群集內(nèi)的計算機節(jié)點中的一個從包括針對數(shù)字對象的獨特標識符的客戶端應(yīng)用接收請求。存儲群集在對象被存儲的節(jié)點中的一個上尋找被這樣標識的對象。如果該對象不是如上文描述的清單，則它被返回到客戶端應(yīng)用。如果該對象是清單，則其接著使用在所述清單內(nèi)找到的獨特段標識符在存儲群集內(nèi)確定多個段。使用這些獨特的段標識符，該方法使用段和擦除編碼算法重新構(gòu)建數(shù)字對象。最后，該方法向客戶端應(yīng)用返回數(shù)字對象。

在另一實施例中，其中客戶端應(yīng)用希望以內(nèi)容的新版本替換與獨特標識符相關(guān)聯(lián)的內(nèi)容，本發(fā)明如在先前的段落中描述的那樣運轉(zhuǎn)以尋找對象，然后如之前段落中的那樣寫入它。新的版本將保留先前版本的獨特標識符，但是具有較晚的創(chuàng)建時間戳，其在更新過程期間區(qū)分兩個版本。一旦較新的版本被成功寫入群集中，就舊的刪除較舊的版本。健康處理模塊也可以刪除針對其較新的版本存在的對象的較舊的版本，作為從錯誤狀態(tài)維持群集數(shù)據(jù)的一種方法。

在另一實施例中，一種方法從故障的磁盤恢復(fù)。首先，該方法在存儲群集（具有多個計算機節(jié)點）內(nèi)檢測節(jié)點中的一個的磁盤已經(jīng)故障。接下來，該方法掃描存儲群集的另一磁盤的永久存儲區(qū)以尋找故障磁盤的獨特標識符；該獨特標識符與存儲群集的數(shù)字流相關(guān)聯(lián)。然后確定所述數(shù)字流是使用復(fù)制還是使用擦除編碼被存儲在存儲群集內(nèi)；當確定數(shù)字流使用擦除編碼被存儲時，該方法標識先前存儲在故障磁盤上的丟失的段。使用來自所述數(shù)字流的同胞標識符，該方法在存儲群集內(nèi)定位多個其他的段。接下來，該方法使用多個其他的段和擦除編碼算法重新生成丟失的段。最后，該方法將重新生成的段存儲在存儲群集的計算機節(jié)點上。