[發(fā)明專利]將接收的數(shù)據(jù)塊存儲(chǔ)為去重?cái)?shù)據(jù)塊的裝置和方法

有效

• 申請?zhí)枺?/td>: 201780041609.5
• 申請日: 2017-08-25
• 公開（公告）號(hào): CN109937411B
• 公開（公告）日: 2021-08-20
• 發(fā)明（設(shè)計(jì)）人: 邁克爾.赫希;葉赫那坦.大衛(wèi);亞伊爾.托弗
• 申請（專利權(quán)）人: 華為技術(shù)有限公司
• 主分類號(hào): G06F16/174
• 分類號(hào): G06F16/174
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 熊永強(qiáng);李稷芳

本發(fā)明涉及一種將接收的數(shù)據(jù)塊300存儲(chǔ)為去重?cái)?shù)據(jù)塊104的裝置100，所述裝置100用于：維護(hù)多個(gè)容器101，其中，容器的引用105在所述裝置100內(nèi)是唯一的，每個(gè)容器101包括一個(gè)或多個(gè)數(shù)據(jù)段102和每個(gè)數(shù)據(jù)段102的段元數(shù)據(jù)103，段元數(shù)據(jù)103包括段標(biāo)識(shí)符110和段引用108，其中，所述段標(biāo)識(shí)符110在所述容器101內(nèi)是唯一的，所述段引用108在所述裝置100內(nèi)是唯一的；維護(hù)多個(gè)去重?cái)?shù)據(jù)塊104，其存儲(chǔ)接收的數(shù)據(jù)塊300，其中，每個(gè)去重?cái)?shù)據(jù)塊104包括多個(gè)標(biāo)識(shí)的容器引用105和一個(gè)或多個(gè)段指示符106的有序列表，其中，容器引用標(biāo)識(shí)符105i在所述去重?cái)?shù)據(jù)塊104內(nèi)是唯一的。

技術(shù)領(lǐng)域

本發(fā)明涉及一種數(shù)據(jù)去重的裝置及對應(yīng)方法，具體地，用于將接收的數(shù)據(jù)塊存儲(chǔ)為去重?cái)?shù)據(jù)塊。本發(fā)明使用一種新的數(shù)據(jù)結(jié)構(gòu)，涉及參照本數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)接收的數(shù)據(jù)塊、檢索接收的數(shù)據(jù)塊以及刪除數(shù)據(jù)塊。

背景技術(shù)

以刪除已存儲(chǔ)數(shù)據(jù)的方式處理備份已成為慣例。由此，會(huì)使用稱為“去重”的過程。去重過程不是存儲(chǔ)副本，而是存儲(chǔ)某種形式的引用，其中，該引用為已存儲(chǔ)數(shù)據(jù)所在位置的引用。這些引用和其它圍繞該數(shù)據(jù)而存儲(chǔ)的項(xiàng)目通常稱為元數(shù)據(jù)。

在這種情況下，傳統(tǒng)元數(shù)據(jù)的大小可以是接收的數(shù)據(jù)的1％。當(dāng)數(shù)據(jù)去重做得很好時(shí)，會(huì)有很多副本，從而總元數(shù)據(jù)在所需總存儲(chǔ)空間中的占比很大。例如，當(dāng)數(shù)據(jù)以25:1的比例復(fù)制并且使用SHA-1散列來確定身份時(shí)，需要總存儲(chǔ)空間的28％來保存元數(shù)據(jù)。

此外，SHA-1的安全性近來受到質(zhì)疑。但是，轉(zhuǎn)而使用SHA-2散列意味著，對于去重過程，現(xiàn)在甚至需要總存儲(chǔ)空間的33％來保存元數(shù)據(jù)。

因此，需要找到降低保存元數(shù)據(jù)所需總存儲(chǔ)空間的百分比的可能方法。

傳統(tǒng)去重產(chǎn)品將完整散列(通常是SHA-1散列)存儲(chǔ)在它們的塊元數(shù)據(jù)的等價(jià)物中。這是元數(shù)據(jù)大的根本原因，導(dǎo)致去重效果良好時(shí)元數(shù)據(jù)膨脹。

因此，如果可以避免將完整散列存儲(chǔ)在塊元數(shù)據(jù)中，則可以減少元數(shù)據(jù)所需的總存儲(chǔ)空間。

圖8示出了傳統(tǒng)去重過程的數(shù)據(jù)結(jié)構(gòu)。該數(shù)據(jù)結(jié)構(gòu)分為塊、容器和段。塊為表示原始數(shù)據(jù)的存儲(chǔ)單元，原始數(shù)據(jù)可以包含副本。這些塊為去重裝置在去重前接收到的數(shù)據(jù)。塊可以分成數(shù)據(jù)段，數(shù)據(jù)段為連續(xù)字節(jié)組成的序列。典型的數(shù)據(jù)段長度因產(chǎn)品而異，不過一個(gè)塊可以包含高達(dá)數(shù)千個(gè)的數(shù)據(jù)段。

去重之后，接收的塊存儲(chǔ)為塊中的段列表，稱為塊的元數(shù)據(jù)。此外，將保存唯一數(shù)據(jù)段的容器存儲(chǔ)起來。容器為表示唯一去重?cái)?shù)據(jù)的存儲(chǔ)單元，其中，一個(gè)容器可以包含數(shù)千個(gè)唯一數(shù)據(jù)段。例如，數(shù)據(jù)段的元數(shù)據(jù)為其引用計(jì)數(shù)、存儲(chǔ)詳細(xì)信息以及從數(shù)據(jù)段計(jì)算出的強(qiáng)散列。容器的元數(shù)據(jù)為其所有數(shù)據(jù)段的數(shù)據(jù)段元數(shù)據(jù)。

圖9示出了傳統(tǒng)塊，即去重?cái)?shù)據(jù)塊，的元數(shù)據(jù)的詳細(xì)信息。從圖9可以看出，接收未去重的用戶數(shù)據(jù)塊，而在去重處理后，將用戶數(shù)據(jù)塊存儲(chǔ)為包括元數(shù)據(jù)的去重?cái)?shù)據(jù)塊。具體地，去重塊包括容器ID和強(qiáng)散列值對組成的表。換言之，傳統(tǒng)塊的元數(shù)據(jù)存儲(chǔ)接收的數(shù)據(jù)塊的每個(gè)數(shù)據(jù)段的強(qiáng)散列值。這些強(qiáng)散列值均需要40個(gè)字節(jié)的存儲(chǔ)空間，因此占了總存儲(chǔ)空間的很大一部分。

圖10示出了與去重?cái)?shù)據(jù)塊和容器一起存儲(chǔ)的傳統(tǒng)去重索引的詳細(xì)信息。傳統(tǒng)去重索引包括由數(shù)據(jù)段的散列值組成的完整列表(此處為G、I、J、K、L)，其中，每個(gè)散列值與塊的引用相關(guān)聯(lián)。然而，這意味著對于包含數(shù)據(jù)段的接收塊，首先需要從去重索引中的關(guān)聯(lián)塊引用中找到去重?cái)?shù)據(jù)塊，然后從檢索到的去重?cái)?shù)據(jù)塊中找到與該塊相關(guān)的容器，其中，可以將數(shù)據(jù)段計(jì)算為能在去重索引中搜索的散列值。然而，這種間接性會(huì)對系統(tǒng)性能尤其是輸入/輸出(Input/Output，I/O)造成負(fù)面影響。

發(fā)明內(nèi)容