[發(fā)明專(zhuān)利]一種基于全閃存陣列的數(shù)據(jù)壓縮方法及系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 201811289300.0
• 申請(qǐng)日: 2018-10-31
• 公開(kāi)（公告）號(hào): CN111124939A
• 公開(kāi)（公告）日: 2020-05-08
• 發(fā)明（設(shè)計(jì)）人: 夏文;古亮
• 申請(qǐng)（專(zhuān)利權(quán)）人: 深信服科技股份有限公司
• 主分類(lèi)號(hào): G06F12/02
• 分類(lèi)號(hào): G06F12/02;G06F11/10
• 代理公司: 深圳市深佳知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

1.一種基于全閃存陣列的數(shù)據(jù)壓縮方法，其特征在于，所述全閃存陣列包括性能層和容量層，所述方法包括:

獲取所述性能層中的被壓縮數(shù)據(jù)；

將所述被壓縮數(shù)據(jù)切分為預(yù)設(shè)長(zhǎng)度的第一數(shù)據(jù)塊，并計(jì)算所述第一數(shù)據(jù)塊的弱哈希值；

將所述第一數(shù)據(jù)塊的弱哈希值與所述容量層中的去重指紋庫(kù)進(jìn)行匹配，以確定是否存在匹配指紋；

若不存在所述匹配指紋，則確定所述第一數(shù)據(jù)塊為非重復(fù)數(shù)據(jù)塊，則對(duì)所述第一數(shù)據(jù)塊進(jìn)行壓縮，并將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層，而將所述第一數(shù)據(jù)塊的指紋更新至所述去重指紋庫(kù)中。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述方法還包括：

若存在所述匹配指紋，則讀取所述匹配指紋對(duì)應(yīng)的原始數(shù)據(jù)塊；

將所述第一數(shù)據(jù)塊與所述原始數(shù)據(jù)塊進(jìn)行匹配，以確定所述第一數(shù)據(jù)塊與所述原始數(shù)據(jù)塊是否完全相同；

若完全相同，則確定所述第一數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊，并將所述第一數(shù)據(jù)塊的元數(shù)據(jù)信息回寫(xiě)至所述容量層的元數(shù)據(jù)區(qū)域，所述元數(shù)據(jù)信息包括所述第一數(shù)據(jù)塊在所述被壓縮數(shù)據(jù)中的邏輯地址、所述匹配指紋及所述匹配指紋的物理地址之間的對(duì)應(yīng)關(guān)系。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，所述方法還包括：

若不完全相同，則確定所述第一數(shù)據(jù)塊為非重復(fù)數(shù)據(jù)塊，則對(duì)所述第一數(shù)據(jù)塊進(jìn)行壓縮，并將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層，而所述第一數(shù)據(jù)塊的指紋更新至所述去重指紋庫(kù)中。

4.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，所述將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層，包括：

將壓縮后的第一數(shù)據(jù)塊以日志追加寫(xiě)的方式回寫(xiě)至日志存儲(chǔ)單元，并在所述日志存儲(chǔ)單元寫(xiě)滿(mǎn)后，將所述日志存儲(chǔ)單元回寫(xiě)至所述容量層，所述日志存儲(chǔ)單元的存儲(chǔ)空間為所述容量層最小寫(xiě)入單元的整數(shù)倍。

5.根據(jù)權(quán)利要求4所述的方法，其特征在于，所述方法還包括：

對(duì)所述去重指紋庫(kù)中指紋的引用次數(shù)執(zhí)行計(jì)數(shù)管理；

所述對(duì)所述去重指紋庫(kù)中指紋的引用次數(shù)執(zhí)行計(jì)數(shù)管理，包括；

當(dāng)所述去重指紋庫(kù)中存在所述第一數(shù)據(jù)塊的匹配指紋時(shí)，則將所述匹配指紋的引用次數(shù)執(zhí)行增長(zhǎng)式運(yùn)算；

和，

當(dāng)引用所述去重指紋庫(kù)中所述匹配指紋的第一數(shù)據(jù)塊發(fā)生更新時(shí)，則將所述匹配指紋的引用次數(shù)執(zhí)行遞減式運(yùn)算。

6.根據(jù)權(quán)利要求1或3所述的方法，其特征在于，在將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層之后，所述方法還包括：

將所述第一數(shù)據(jù)塊的元數(shù)據(jù)信息更新至所述容量層的文件元數(shù)據(jù)區(qū)域或所述去重指紋庫(kù)中，所述元數(shù)據(jù)信息包括：所述第一數(shù)據(jù)塊壓縮后的物理存儲(chǔ)地址及所述第一數(shù)據(jù)塊壓縮后的長(zhǎng)度，以用于后期根據(jù)所述元數(shù)據(jù)信息對(duì)所述第一數(shù)據(jù)塊進(jìn)行解壓。

7.一種基于全閃存陣列的數(shù)據(jù)壓縮系統(tǒng)，其特征在于，所述全閃存陣列包括性能層和容量層，所述系統(tǒng)包括:

獲取單元，用于獲取所述性能層中的被壓縮數(shù)據(jù)；

切分計(jì)算單元，用于將所述被壓縮數(shù)據(jù)切分為預(yù)設(shè)長(zhǎng)度的第一數(shù)據(jù)塊，并計(jì)算所述第一數(shù)據(jù)塊的弱哈希值；

匹配單元，用于將所述第一數(shù)據(jù)塊的弱哈希值與所述容量層中的去重指紋庫(kù)進(jìn)行匹配，以確定是否存在匹配指紋；

第一壓縮單元，用于在若不存在所述匹配指紋時(shí)，確定所述第一數(shù)據(jù)塊為非重復(fù)數(shù)據(jù)塊，則對(duì)所述第一數(shù)據(jù)塊進(jìn)行壓縮，并將壓縮后的第一數(shù)據(jù)塊回寫(xiě)至所述容量層，而將所述第一數(shù)據(jù)塊的指紋更新至所述去重指紋庫(kù)中。

8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其特征在于，所述系統(tǒng)還包括：

讀取匹配單元，用于在若存在所述匹配指紋時(shí)，讀取所述匹配指紋對(duì)應(yīng)的原始數(shù)據(jù)塊，將所述第一數(shù)據(jù)塊與所述原始數(shù)據(jù)塊進(jìn)行匹配，以確定所述第一數(shù)據(jù)塊與所述原始數(shù)據(jù)塊是否完全相同；

去重單元，用于在所述第一數(shù)據(jù)塊與所述原始數(shù)據(jù)塊完全相同時(shí)，確定所述第一數(shù)據(jù)塊為重復(fù)數(shù)據(jù)塊，并將所述第一數(shù)據(jù)塊的元數(shù)據(jù)信息回寫(xiě)至所述容量層的元數(shù)據(jù)區(qū)域，所述元數(shù)據(jù)信息包括所述第一數(shù)據(jù)塊在所述被壓縮數(shù)據(jù)中的邏輯地址、所述匹配指紋及所述匹配指紋的物理地址之間的對(duì)應(yīng)關(guān)系。