[發(fā)明專(zhuān)利]一種數(shù)據(jù)存儲(chǔ)方法及存儲(chǔ)設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201711331166.1
• 申請(qǐng)日: 2017-12-13
• 公開(kāi)（公告）號(hào): CN109918018B
• 公開(kāi)（公告）日: 2020-06-16
• 發(fā)明（設(shè)計(jì)）人: 張海艷;周釗;雷和陽(yáng)
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華為技術(shù)有限公司
• 主分類(lèi)號(hào): G06F3/06
• 分類(lèi)號(hào): G06F3/06
• 代理公司: 北京中博世達(dá)專(zhuān)利商標(biāo)代理有限公司 11274
• 代理人: 申健

本申請(qǐng)實(shí)施例公開(kāi)一種數(shù)據(jù)存儲(chǔ)方法及存儲(chǔ)設(shè)備，涉及存儲(chǔ)技術(shù)領(lǐng)域，在確定待存儲(chǔ)數(shù)據(jù)塊的類(lèi)型為結(jié)構(gòu)數(shù)據(jù)塊后，將待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)保存至結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)區(qū)，待存儲(chǔ)數(shù)據(jù)塊包括結(jié)構(gòu)區(qū)和數(shù)據(jù)區(qū)，結(jié)構(gòu)區(qū)存儲(chǔ)待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)，數(shù)據(jù)區(qū)存儲(chǔ)待存儲(chǔ)數(shù)據(jù)塊的用戶(hù)數(shù)據(jù)；刪除待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)，并保存滿(mǎn)足結(jié)構(gòu)區(qū)的空間大小的多個(gè)預(yù)設(shè)字符至結(jié)構(gòu)區(qū)中，得到更新后的待存儲(chǔ)數(shù)據(jù)塊；在確定更新后的待存儲(chǔ)數(shù)據(jù)塊與已存儲(chǔ)數(shù)據(jù)塊相同后，獲取待存儲(chǔ)數(shù)據(jù)塊的邏輯存儲(chǔ)地址、待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)在結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)區(qū)中的存儲(chǔ)地址和已存儲(chǔ)數(shù)據(jù)塊的指紋索引，并保存三者之間的對(duì)應(yīng)關(guān)系，有效的提高了數(shù)據(jù)塊的重刪率。

技術(shù)領(lǐng)域

本申請(qǐng)實(shí)施例涉及存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)存儲(chǔ)方法及存儲(chǔ)設(shè)備。

背景技術(shù)

隨著時(shí)間的累計(jì)，存儲(chǔ)設(shè)備存儲(chǔ)的數(shù)據(jù)越來(lái)越多，在存儲(chǔ)設(shè)備中，通常會(huì)存儲(chǔ)有大量的重復(fù)數(shù)據(jù)。為了提高存儲(chǔ)設(shè)備的存儲(chǔ)效率和存儲(chǔ)空間的利用率，業(yè)界提出了重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)壓縮技術(shù)。重復(fù)數(shù)據(jù)刪除技術(shù)用于刪除重復(fù)出現(xiàn)的數(shù)據(jù)塊，數(shù)據(jù)壓縮技術(shù)則通過(guò)對(duì)數(shù)據(jù)重新編碼來(lái)降低其冗余度。通常，重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)壓縮技術(shù)配合起來(lái)一起使用，可有效的提高存儲(chǔ)空間的利用率，并提高存儲(chǔ)效率。重復(fù)數(shù)據(jù)刪除技術(shù)和數(shù)據(jù)壓縮技術(shù)的配合使用簡(jiǎn)稱(chēng)為重刪壓縮處理。

現(xiàn)有技術(shù)中，對(duì)于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)而言，存儲(chǔ)設(shè)備均以大小為4千字節(jié)(KB)或8KB的數(shù)據(jù)塊為重刪粒度。對(duì)于每個(gè)數(shù)據(jù)塊而言，存儲(chǔ)設(shè)備計(jì)算該數(shù)據(jù)塊的指紋值，然后以指紋值為關(guān)鍵字在指紋桶中查看是否有與該數(shù)據(jù)塊的指紋值相同的指紋值。如果有與該數(shù)據(jù)塊的指紋值相同的指紋值，假設(shè)與該數(shù)據(jù)塊的指紋值相同的指紋值為數(shù)據(jù)塊A的指紋值，所述存儲(chǔ)設(shè)備則進(jìn)一步地判斷該數(shù)據(jù)塊的壓縮策略與數(shù)據(jù)塊A的壓縮策略是否相同，以及進(jìn)一步地將該數(shù)據(jù)塊與數(shù)據(jù)塊A進(jìn)行逐字節(jié)對(duì)比。如果該數(shù)據(jù)塊與數(shù)據(jù)塊A的壓縮策略相同，且該數(shù)據(jù)塊與數(shù)據(jù)塊A逐字節(jié)對(duì)比完全一致，則說(shuō)明該數(shù)據(jù)塊與數(shù)據(jù)塊A重復(fù)，所述存儲(chǔ)設(shè)備將數(shù)據(jù)塊A的指紋值的引用計(jì)數(shù)加1，數(shù)據(jù)塊A的指紋值的引用計(jì)數(shù)表示該指紋值對(duì)應(yīng)的數(shù)據(jù)塊被共享的次數(shù)。如果指紋桶中不存在與該數(shù)據(jù)塊的指紋值相同的指紋值，或該數(shù)據(jù)塊與數(shù)據(jù)塊A的壓縮策略不同，或該數(shù)據(jù)塊與數(shù)據(jù)塊A逐字節(jié)對(duì)比不完全一致，所述存儲(chǔ)設(shè)備則將該數(shù)據(jù)塊的指紋值按照預(yù)設(shè)規(guī)則插入指紋桶中，之后將該數(shù)據(jù)塊中的數(shù)據(jù)壓縮存放。

然而，對(duì)于結(jié)構(gòu)化數(shù)據(jù)塊(包括結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)塊)而言，每個(gè)結(jié)構(gòu)化數(shù)據(jù)塊的結(jié)構(gòu)固定，且每個(gè)結(jié)構(gòu)化數(shù)據(jù)塊均包括更新時(shí)間、塊編號(hào)、塊類(lèi)型等各自獨(dú)有的信息。這些獨(dú)有的信息中少數(shù)幾個(gè)字節(jié)的不同會(huì)導(dǎo)致整個(gè)結(jié)構(gòu)化數(shù)據(jù)塊無(wú)法刪除，從而降低了結(jié)構(gòu)化數(shù)據(jù)塊的重刪率。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提供一種數(shù)據(jù)存儲(chǔ)方法及存儲(chǔ)設(shè)備，能夠解決結(jié)構(gòu)化數(shù)據(jù)塊的重刪率較低的問(wèn)題。

為達(dá)到上述目的，本申請(qǐng)實(shí)施例采用如下技術(shù)方案：

第一方面，提供一種數(shù)據(jù)存儲(chǔ)方法，存儲(chǔ)設(shè)備在確定待存儲(chǔ)數(shù)據(jù)塊的類(lèi)型為結(jié)構(gòu)數(shù)據(jù)塊后，將待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)保存至結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)區(qū)，這里，結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)區(qū)用于存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)，待存儲(chǔ)數(shù)據(jù)塊包括結(jié)構(gòu)區(qū)和數(shù)據(jù)區(qū)，結(jié)構(gòu)區(qū)用于存儲(chǔ)待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)，數(shù)據(jù)區(qū)用于存儲(chǔ)待存儲(chǔ)數(shù)據(jù)塊的用戶(hù)數(shù)據(jù)；存儲(chǔ)設(shè)備刪除待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)，并保存滿(mǎn)足結(jié)構(gòu)區(qū)的空間大小的多個(gè)預(yù)設(shè)字符至結(jié)構(gòu)區(qū)中，得到更新后的待存儲(chǔ)數(shù)據(jù)塊；在確定更新后的待存儲(chǔ)數(shù)據(jù)塊與已存儲(chǔ)數(shù)據(jù)塊相同后，存儲(chǔ)設(shè)備獲取待存儲(chǔ)數(shù)據(jù)塊的邏輯存儲(chǔ)地址和待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)在結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)區(qū)中的存儲(chǔ)地址，并從指紋桶中獲取已存儲(chǔ)數(shù)據(jù)塊的指紋索引，之后，存儲(chǔ)設(shè)備保存待存儲(chǔ)數(shù)據(jù)塊的邏輯存儲(chǔ)地址、待存儲(chǔ)數(shù)據(jù)塊的元數(shù)據(jù)在結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)區(qū)中的存儲(chǔ)地址以及已存儲(chǔ)數(shù)據(jù)塊的指紋索引之間的對(duì)應(yīng)關(guān)系。