[發(fā)明專利]緩存設(shè)備數(shù)據(jù)的離線去重壓縮方法、裝置及可讀存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 201810214774.2
• 申請日: 2018-03-15
• 公開（公告）號: CN108427539B
• 公開（公告）日: 2021-06-04
• 發(fā)明（設(shè)計(jì)）人: 夏文;古亮
• 申請（專利權(quán)）人: 深信服科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市深佳知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44285
• 代理人: 王仲凱

本發(fā)明實(shí)施例公開了一種緩存設(shè)備數(shù)據(jù)的離線去重壓縮方法、裝置及可讀存儲介質(zhì)，用于減少緩存設(shè)備去重和壓縮對整體存儲系統(tǒng)IO性能的影響，并節(jié)省緩存設(shè)備存儲空間。本發(fā)明實(shí)施例方法包括：讀取緩存設(shè)備上預(yù)設(shè)長度的數(shù)據(jù)段，判斷數(shù)據(jù)段的修改次數(shù)是否大于第一閾值；若不大于，將數(shù)據(jù)段劃分為預(yù)設(shè)粒度的數(shù)據(jù)塊，并計(jì)算數(shù)據(jù)塊的指紋；查詢緩存設(shè)備的指紋庫，判斷指紋庫中是否存在所述指紋；若存在指紋，則確定該數(shù)據(jù)塊屬于重復(fù)數(shù)據(jù)，并將數(shù)據(jù)塊的元數(shù)據(jù)信息存儲至緩存設(shè)備的元數(shù)據(jù)區(qū)域，元數(shù)據(jù)信息包括數(shù)據(jù)塊在數(shù)據(jù)段中的順序、數(shù)據(jù)塊的物理存儲地址及數(shù)據(jù)塊的長度。

技術(shù)領(lǐng)域

本發(fā)明涉及數(shù)據(jù)處理技術(shù)領(lǐng)域，尤其涉及一種緩存設(shè)備數(shù)據(jù)的離線去重壓縮方法、裝置及可讀存儲介質(zhì)。

背景技術(shù)

壓縮算法已經(jīng)被廣泛地應(yīng)用于計(jì)算機(jī)系統(tǒng)中來有效地節(jié)省存儲空間。而且根據(jù)各大IT公司(比如IBM、EMC等)公布的數(shù)據(jù)，在虛擬機(jī)環(huán)境下，使用GZIP壓縮算法可以有效地節(jié)省多達(dá)一半的存儲空間。但是現(xiàn)有的壓縮算法具有壓縮效率高但是壓縮處理速度參差不齊。這是因?yàn)閴嚎s算法對于那些已經(jīng)壓縮過的或者是隨機(jī)化的數(shù)據(jù)壓縮處理速度很慢，計(jì)算開銷大。這樣將壓縮算法實(shí)時應(yīng)用在SSD緩存中，會帶來IO時延抖動和性能下降的問題，從而影響SSD緩存性能效果。

根據(jù)IDC和Gartner提供的數(shù)據(jù)，在虛擬化環(huán)境下，數(shù)據(jù)中心的數(shù)據(jù)去重在桌面虛擬化、服務(wù)器虛擬化等主要場景可以獲得3-8倍的數(shù)據(jù)去重比收益，可以大幅度降低數(shù)據(jù)存儲設(shè)備的成本，提升數(shù)據(jù)存儲效率。但是數(shù)據(jù)去重需要計(jì)算指紋和查找指紋，并增加元數(shù)據(jù)管理開銷，所以將數(shù)據(jù)去重實(shí)時應(yīng)用在SSD緩存中，也會給SSD緩存增加性能代價。

此外，數(shù)據(jù)去重和壓縮后的數(shù)據(jù)更新由于數(shù)據(jù)去重管理和壓縮長度的變化，只能做異地更新處理，這帶來了數(shù)據(jù)更新的碎片化問題和空間垃圾回收的難度，這樣對數(shù)據(jù)去重和壓縮后的數(shù)據(jù)讀性能和更新操作都帶來了IO性能下降的影響。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例提供了一種緩存設(shè)備數(shù)據(jù)的離線去重壓縮方法、裝置及可讀存儲介質(zhì)，用于減少緩存設(shè)備去重和壓縮對整體存儲系統(tǒng)IO性能的影響。

本發(fā)明實(shí)施例第一方面提供了一種緩存設(shè)備數(shù)據(jù)的離線去重壓縮方法，包括：

讀取緩存設(shè)備上預(yù)設(shè)長度的數(shù)據(jù)段，判斷數(shù)據(jù)段的修改次數(shù)是否大于第一閾值；

若不大于，將數(shù)據(jù)段劃分為預(yù)設(shè)粒度的數(shù)據(jù)塊，并計(jì)算數(shù)據(jù)塊的指紋；

查詢緩存設(shè)備的指紋庫，判斷指紋庫中是否存在所述指紋；

若存在所述指紋，則確定該數(shù)據(jù)塊為重復(fù)數(shù)據(jù)，并將該數(shù)據(jù)塊的元數(shù)據(jù)信息存儲至緩存設(shè)備的元數(shù)據(jù)區(qū)域，元數(shù)據(jù)信息包括數(shù)據(jù)塊在數(shù)據(jù)段中的順序、數(shù)據(jù)塊的物理存儲地址及數(shù)據(jù)塊的長度。

優(yōu)選的，在若存在指紋之后，確定該數(shù)據(jù)塊為重復(fù)數(shù)據(jù)之前，該方法還包括：

計(jì)算數(shù)據(jù)段去重后的分散度；

判斷分散度是否大于分散閾值；

若不大于，則觸發(fā)確定該數(shù)據(jù)塊為重復(fù)數(shù)據(jù)的步驟；

若大于，則將數(shù)據(jù)段存儲至緩存設(shè)備的數(shù)據(jù)區(qū)域。

優(yōu)選的，在讀取緩存設(shè)備上預(yù)設(shè)長度的數(shù)據(jù)段之前，該方法還包括：

判斷緩存設(shè)備的存儲帶寬是否大于帶寬閾值；

若不大于，則觸發(fā)讀取緩存設(shè)備上預(yù)設(shè)長度的數(shù)據(jù)段的步驟；

若大于，則執(zhí)行其他流程。

優(yōu)選的，在判斷數(shù)據(jù)段的修改次數(shù)是否大于第一閾值之后，方法還包括：

若大于第一閾值，則將數(shù)據(jù)段直接存儲至緩存設(shè)備的數(shù)據(jù)區(qū)域；

在判斷指紋庫是否存在指紋之后，該方法還包括：