[發明專利]一種基于全閃存陣列的數據壓縮方法及系統

在審

• 申請號: 201811289300.0
• 申請日: 2018-10-31
• 公開（公告）號: CN111124939A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 夏文;古亮
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F12/02
• 分類號: G06F12/02;G06F11/10
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

本申請實施例公開了一種基于全閃存陣列的數據壓縮方法及系統，用于提高數據去重的效率，提高存儲系統的IO性能。本申請實施例方法包括：獲取性能層中的被壓縮數據；將被壓縮數據切分為預設長度的第一數據塊，并計算第一數據塊的弱哈希值；將第一數據塊的弱哈希值與容量層中的去重指紋庫進行匹配，以確定是否存在匹配指紋；若不存在匹配指紋，則確定第一數據塊為非重復數據塊，則對第一數據塊進行壓縮，并將壓縮后的第一數據塊回寫至容量層，而將第一數據塊的指紋更新至去重指紋庫中。

技術領域

本申請涉及數據存儲技術領域，尤其涉及一種基于全閃存陣列的數據壓縮方法及系統。

背景技術

一般地，為了節省數據的存儲空間，文件在存儲時，會對文件中的數據進行去重壓縮，以減小數據的占用空間。

所謂去重，即通過計算數據塊的安全哈希摘要(比如SHA1指紋)來唯一識別數據塊，避免了數據的逐個字符的匹配，而且存儲系統只需要簡單地維護安全哈希摘要的索引表，就可以實現快速方便地識別重復數據，且重復的數據內容只需要記錄相應的數據指針信息即可達到節省存儲空間的目的。

而在數據去重中，在計算數據塊的哈希摘要時，是指計算數據塊的強哈希，一般強哈希是指符合安全哈希摘要標準的哈希算法，比如SHA1、SHA256等，這類哈希的長度一般都比較長(大于20字節)，一般認為不同的數據擁有相當的安全哈希摘要的概率幾乎不存在，類似于人類指紋的沖突情況，所以在數據去重領域一般使用哈希哈希摘要算法唯一標志數據塊，避免重復數據的逐個字節比對。

而現有的去重技術中所采用的強哈希算法，因其計算量較大，且強哈希的長度都比較長(大于20字節)，故在計算出第一數據塊的強哈希后，在與去重指紋庫進行匹配時，所花費的匹配時間較長，從而減慢了數據去重的效率。

發明內容

本申請實施例提供了一種基于全閃存陣列的數據壓縮方法及系統，用于提高數據去重的效率，從而提高存儲系統的IO性能。

本申請實施例第一方面提供了一種基于全閃存陣列的數據壓縮方法，該閃存陣列包括：性能層和容量層，該方法包括：

獲取所述性能層中的被壓縮數據；

將所述被壓縮數據切分為預設長度的第一數據塊，并計算所述第一數據塊的弱哈希值；

將所述第一數據塊的弱哈希值與所述容量層中的去重指紋庫進行匹配，以確定是否存在匹配指紋；

若不存在所述匹配指紋，則確定所述第一數據塊為非重復數據塊，則對所述第一數據塊進行壓縮，并將壓縮后的第一數據塊回寫至所述容量層，而將所述第一數據塊的指紋更新至所述去重指紋庫中。

優選的，所述方法還包括：

若存在所述匹配指紋，則讀取所述匹配指紋對應的原始數據塊；

將所述第一數據塊與所述原始數據塊進行匹配，以確定所述第一數據塊與所述原始數據塊是否完全相同；

若完全相同，則確定所述第一數據塊為重復數據塊，并將所述第一數據塊的元數據信息回寫至所述容量層的元數據區域，所述元數據信息包括所述第一數據塊在所述被壓縮數據中的邏輯地址、所述匹配指紋及所述匹配指紋的物理地址之間的對應關系。

優選的，所述方法還包括：

若不完全相同，則確定所述第一數據塊為非重復數據塊，則對所述第一數據塊進行壓縮，并將壓縮后的第一數據塊回寫至所述容量層，而將所述第一數據塊的指紋更新至所述去重指紋庫中。

優選的，所述將壓縮后的第一數據塊回寫至所述容量層，包括：

將壓縮后的第一數據塊以日志追加寫的方式回寫至日志存儲單元，并在所述日志存儲單元寫滿后，將所述日志存儲單元回寫至所述容量層，所述日志存儲單元的存儲空間為所述容量層最小寫入單元的整數倍。