[發明專利]緩存設備數據的離線去重壓縮方法、裝置及可讀存儲介質

有效

• 申請號: 201810214774.2
• 申請日: 2018-03-15
• 公開（公告）號: CN108427539B
• 公開（公告）日: 2021-06-04
• 發明（設計）人: 夏文;古亮
• 申請（專利權）人: 深信服科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種緩存設備數據的離線去重壓縮方法，其特征在于，包括：

讀取緩存設備上預設長度的數據段，判斷所述數據段的修改次數是否大于第一閾值；

若不大于，將所述數據段劃分為預設粒度的數據塊，并計算所述數據塊的指紋；

查詢所述緩存設備的指紋庫，判斷所述指紋庫中是否存在所述指紋；

若存在所述指紋，則確定所述數據塊為重復數據，并將所述數據塊的元數據信息存儲至所述緩存設備的元數據區域，所述元數據信息包括所述數據塊在所述數據段中的順序、所述數據塊的物理存儲地址及所述數據塊的長度；

在讀取緩存設備上預設長度的數據段之前，所述方法還包括：

判斷所述緩存設備的存儲帶寬是否大于帶寬閾值；

若不大于，則觸發讀取緩存設備上預設長度的數據段的步驟。

2.根據權利要求1所述的方法，其特征在于，在所述若存在所述指紋之后，所述確定所述數據塊為重復數據之前，所述方法還包括：

計算所述數據段去重后的分散度；

判斷所述分散度是否大于分散閾值；

若不大于，則觸發確定所述數據塊為重復數據的步驟；

若大于，則將所述數據段存儲至所述緩存設備的數據區域。

3.根據權利要求1所述的方法，其特征在于，在判斷所述數據段的修改次數是否大于第一閾值之后，所述方法還包括：

若大于所述第一閾值，則將所述數據段直接存儲至所述緩存設備的數據區域；

在判斷所述指紋庫是否存在所述指紋之后，所述方法還包括：

若不存在所述指紋，對所述數據塊執行壓縮操作，并將壓縮后的數據塊存儲至所述緩存設備的數據區域，而將壓縮后的數據塊的元數據信息及所述數據塊的指紋更新至所述指紋庫中，所述元數據信息包括：所述數據塊壓縮后的物理存儲地址及所述數據塊壓縮后的長度。

4.根據權利要求1至3中任一項所述的方法，其特征在于，所述方法還包括：

判斷所述緩存設備的數據區域及元數據區域的存儲量是否超出存儲閾值；

若所述數據區域或所述元數據區域的存儲量超出存儲閾值，則按照預設規則淘汰第一數據及第一元數據；

將所述第一數據及所述第一元數據存儲至第一存儲設備中，并更新所述緩存設備中的數據及元數據。

5.一種緩存設備數據的離線去重壓縮裝置，其特征在于，包括：

讀取判斷單元，用于讀取緩存設備上預設長度的數據段，判斷所述數據段的修改次數是否大于第一閾值；

計算單元，用于在所述修改次數不大于所述第一閾值時，將所述數據段劃分為預設粒度的數據塊，并計算所述數據塊的指紋；

查詢判斷單元，用于查詢所述緩存設備的指紋庫，判斷所述指紋庫中是否存在所述指紋；

去重單元，用于在所述指紋庫中存在所述指紋時，確定所述數據塊為重復數據，并將所述數據塊的元數據信息存儲至所述緩存設備的元數據區域，所述元數據信息包括所述數據塊在所述數據段中的順序、所述數據塊的物理存儲地址及所述數據塊的長度；

所述壓縮裝置還包括：

第二判斷單元，用于判斷所述緩存設備的存儲帶寬是否大于帶寬閾值；

第二觸發單元，用于在所述存儲帶寬不大于所述帶寬閾值時，觸發讀取緩存設備上預設長度的數據段的步驟。

6.根據權利要求5所述的去重壓縮裝置，其特征在于，所述壓縮裝置還包括：

去重計算單元，用于計算所述數據段去重后的分散度；

第一判斷單元，用于判斷所述分散度是否大于分散閾值；

第一觸發單元，用于在所述分散度不大于所述分散閾值時，觸發所述確定所述數據塊為重復數據的步驟；

第一存儲單元，用于在所述分散度大于所述分散閾值時，則將所述數據段存儲至所述緩存設備的數據區域。