[發明專利]應用于集群范圍內數據備份場景的數據去重方法及應用

有效

• 申請號: 202010230330.5
• 申請日: 2020-03-27
• 公開（公告）號: CN111459928B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 董倩
• 申請（專利權）人: 上海愛數信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27;G06F3/06
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

1.一種應用于集群范圍內數據備份場景的數據去重方法，其特征在于，該方法通過構建的物理指紋庫存儲已備份數據塊的指紋信息，基于所述指紋信息對待備份數據塊進行重復性檢測，根據檢測結果實現數據去重處理，

所述集群范圍內具有多個集群節點，所述物理指紋庫設有多個，所述物理指紋庫和集群節點間具有節點指紋庫映射關系，基于該節點指紋庫映射關系實現所述重復性檢測；

所述重復性檢測具體為：

1)獲取所述節點指紋庫映射關系；

2)獲取待備份數據流，對所述待備份數據流進行滑動塊數據切片；

3)計算切片后每一待備份數據塊的數據塊指紋；

4)基于所述節點指紋庫映射關系將每一所述數據塊指紋并發在各集群節點中進行重復數據查詢，判斷是否存在相同數據塊指紋，若是，則執行步驟5)，若否，則執行步驟6)；

5)僅記錄待備份數據塊的存儲位置信息；

6)備份存儲待備份數據塊，并將該待備份數據塊的指紋信息插入對應物理指紋庫，并對相應集群節點進行數據塊存儲；

所述集群范圍內集群節點發生增加或減少時，重新分配多個所述物理指紋庫，遷移各物理指紋庫的分配位置，更新所述節點指紋庫映射關系。

2.根據權利要求1所述的應用于集群范圍內數據備份場景的數據去重方法，其特征在于，所述指紋信息包括數據塊指紋及數據塊位置。

3.根據權利要求1所述的應用于集群范圍內數據備份場景的數據去重方法，其特征在于，所述物理指紋庫基于用戶邏輯指紋庫構建指令自動建立。

4.根據權利要求1所述的應用于集群范圍內數據備份場景的數據去重方法，其特征在于，所述滑動塊數據切片的切片范圍為KB級別。

5.根據權利要求4所述的應用于集群范圍內數據備份場景的數據去重方法，其特征在于，所述滑動塊數據切片為32KB-128KB的切片。

6.根據權利要求1所述的應用于集群范圍內數據備份場景的數據去重方法，其特征在于，通過哈希映射方式獲得每一數據塊指紋對應的物理指紋庫，在該物理指紋庫所在集群節點進行重復數據查詢。

7.根據權利要求3所述的應用于集群范圍內數據備份場景的數據去重方法，其特征在于，通過刪除所述邏輯指紋庫實現物理指紋庫的刪除。

8.一種集群范圍內數據備份方法，其特征在于，在備份過程中，采用如權利要求1所述的數據去重方法進行數據去重處理。