[發(fā)明專(zhuān)利]一種基于全閃存陣列的數(shù)據(jù)壓縮方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811289314.2
• 申請(qǐng)日: 2018-10-31
• 公開(kāi)（公告）號(hào): CN111198857A
• 公開(kāi)（公告）日: 2020-05-26
• 發(fā)明（設(shè)計(jì)）人: 夏文;古亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深信服科技股份有限公司
• 主分類(lèi)號(hào): G06F16/174
• 分類(lèi)號(hào): G06F16/174;G06F16/18
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本申請(qǐng)實(shí)施例公開(kāi)了一種基于全閃存陣列的數(shù)據(jù)壓縮方法及系統(tǒng)，用于提高數(shù)據(jù)去重效率，提高存儲(chǔ)系統(tǒng)的IO性能。本申請(qǐng)實(shí)施例方法包括：獲取性能層中被壓縮的數(shù)據(jù)；將被壓縮的數(shù)據(jù)切分為預(yù)設(shè)長(zhǎng)度的第一數(shù)據(jù)塊，計(jì)算第一數(shù)據(jù)塊的哈希值；將第一數(shù)據(jù)塊的哈希值與存儲(chǔ)于內(nèi)存中的第一去重指紋庫(kù)進(jìn)行匹配，以確定是否存在第一匹配指紋，第一去重指紋庫(kù)的指紋為存儲(chǔ)于容量層中的第二去重指紋庫(kù)中對(duì)應(yīng)指紋的部分內(nèi)容；若不存在，則確定第一數(shù)據(jù)塊為非重復(fù)數(shù)據(jù)塊，則對(duì)第一數(shù)據(jù)塊進(jìn)行壓縮，并將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至容量層，而將第一數(shù)據(jù)塊的指紋及部分指紋對(duì)應(yīng)更新至第二去重指紋庫(kù)及第一去重指紋庫(kù)中。

技術(shù)領(lǐng)域

本申請(qǐng)涉及數(shù)據(jù)存儲(chǔ)技術(shù)領(lǐng)域，尤其涉及一種基于全閃存陣列的數(shù)據(jù)壓縮方法及系統(tǒng)。

背景技術(shù)

一般地，為了節(jié)省數(shù)據(jù)的存儲(chǔ)空間，文件在存儲(chǔ)時(shí)，會(huì)對(duì)文件中的數(shù)據(jù)進(jìn)行去重壓縮，以減小數(shù)據(jù)的占用空間。

所謂去重，即通過(guò)計(jì)算數(shù)據(jù)塊的安全哈希摘要(比如SHA1指紋)來(lái)唯一識(shí)別數(shù)據(jù)塊，避免了數(shù)據(jù)的逐個(gè)字符的匹配，而且存儲(chǔ)系統(tǒng)只需要簡(jiǎn)單地維護(hù)安全哈希摘要的索引表，就可以實(shí)現(xiàn)快速方便地識(shí)別重復(fù)數(shù)據(jù)，且重復(fù)的數(shù)據(jù)內(nèi)容只需要記錄相應(yīng)的數(shù)據(jù)指針信息即可達(dá)到節(jié)省存儲(chǔ)空間的目的。

而數(shù)據(jù)壓縮也是一種冗余數(shù)據(jù)消除技術(shù)，主要通過(guò)編碼的方式消除冗余數(shù)據(jù)信息，即在保證原有數(shù)據(jù)信息不丟失的前提下，將原始內(nèi)容進(jìn)行轉(zhuǎn)換，對(duì)于重復(fù)的字節(jié)序列用更少字節(jié)數(shù)的編碼表示，從而達(dá)到消除部分冗余數(shù)據(jù)并最終節(jié)省存儲(chǔ)空間的目的。

而在全閃存陣列中，因?yàn)槿ブ刂讣y庫(kù)都存儲(chǔ)在容量層中，所以每次在去重前，都需要去容量層中進(jìn)行匹配，且去重指紋庫(kù)在容量層中所占用的空間存儲(chǔ)率較大，故導(dǎo)致每次的去重檢索都需要花費(fèi)較大的IO開(kāi)銷(xiāo)。

發(fā)明內(nèi)容

本申請(qǐng)實(shí)施例提出了一種基于全閃存陣列的數(shù)據(jù)壓縮方法及系統(tǒng)，用于提高數(shù)據(jù)去重的效率，從而提高存儲(chǔ)系統(tǒng)的IO性能。

本申請(qǐng)實(shí)施例第一方面提供了一種基于全閃存陣列的數(shù)據(jù)壓縮方法，該閃存陣列包括：性能層和容量層，該方法包括：

獲取性能層中被壓縮的數(shù)據(jù)；

將所述被壓縮的數(shù)據(jù)切分為預(yù)設(shè)長(zhǎng)度的第一數(shù)據(jù)塊，計(jì)算所述第一數(shù)據(jù)塊的哈希值；

將所述第一數(shù)據(jù)塊的哈希值與存儲(chǔ)于內(nèi)存中的第一去重指紋庫(kù)進(jìn)行匹配，以確定是否存在第一匹配指紋，所述第一去重指紋庫(kù)的指紋為存儲(chǔ)于所述容量層中的第二去重指紋庫(kù)中對(duì)應(yīng)指紋的部分內(nèi)容；

若不存在所述第一匹配指紋，則確定所述第一數(shù)據(jù)塊為非重復(fù)數(shù)據(jù)塊，則對(duì)所述第一數(shù)據(jù)塊進(jìn)行壓縮，并將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層，而將所述第一數(shù)據(jù)塊的指紋及部分指紋對(duì)應(yīng)更新至所述第二去重指紋庫(kù)及第一去重指紋庫(kù)中。

優(yōu)選的，該方法還包括：

若第一去重指紋庫(kù)中存在所述第一匹配指紋，則將所述第一數(shù)據(jù)塊與存儲(chǔ)于所述容量層中的所述第二去重指紋庫(kù)進(jìn)行匹配，以確定是否存在第二匹配指紋；

若第二去重指紋庫(kù)中存在所述第二匹配指紋，則確定所述第一數(shù)據(jù)塊為重復(fù)數(shù)據(jù)，并將所述第一數(shù)據(jù)塊的元數(shù)據(jù)信息回寫(xiě)至所述容量層的元數(shù)據(jù)區(qū)域，所述元數(shù)據(jù)信息包括所述第一數(shù)據(jù)塊在所述被壓縮數(shù)據(jù)中的邏輯地址、所述第二匹配指紋及所述第二匹配指紋的物理地址之間的對(duì)應(yīng)關(guān)系。

優(yōu)選的，該方法還包括：

若第二去重指紋庫(kù)中不存在所述第二匹配指紋，則確定所述第一數(shù)據(jù)塊為非重復(fù)數(shù)據(jù)塊，則對(duì)所述第一數(shù)據(jù)塊進(jìn)行壓縮，并將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層，而將所述第一數(shù)據(jù)塊的指紋及部分指紋對(duì)應(yīng)更新至所述第二去重指紋庫(kù)及第一去重指紋庫(kù)中。

優(yōu)選的，所述將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層，包括：