[發明專利]應用于集群范圍內數據備份場景的數據去重方法及應用

有效

• 申請號: 202010230330.5
• 申請日: 2020-03-27
• 公開（公告）號: CN111459928B
• 公開（公告）日: 2023-07-07
• 發明（設計）人: 董倩
• 申請（專利權）人: 上海愛數信息技術股份有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/27;G06F3/06
• 代理公司: 上海科盛知識產權代理有限公司 31225
• 代理人: 翁惠瑜

本發明涉及一種應用于集群范圍內數據備份場景的數據去重方法及應用，該方法通過構建的物理指紋庫存儲已備份數據塊的指紋信息，基于所述指紋信息對待備份數據塊進行重復性檢測，根據檢測結果實現數據去重處理，所述集群范圍內具有多個集群節點，所述物理指紋庫設有多個，所述物理指紋庫和集群節點間具有節點指紋庫映射關系，基于該節點指紋庫映射關系實現所述重復性檢測。與現有技術相比，本發明具有重復數據檢測精度高等優點。

技術領域

本發明涉及重復數據刪除技術領域，尤其是涉及一種應用于集群范圍內數據備份場景的數據去重方法及應用。

背景技術

隨著信息技術的不斷發展，人們對于計算機技術的依賴逐漸增加，計算機需要存儲的數據量也在迅速增加，待保護的數據將會占據越來越多的物理空間。海量數據的保護成為了存儲廠商所面臨的巨大挑戰，為了解決存儲數據過多的難題，各大廠商紛紛采用了分布式存儲以便存放更多數據，同時分布式系統也可以支撐更多數據量的并發處理，提升保護效率。

重復數據刪除技術主要是通過比較當前需要備份的數據是否已經備份過，并只存儲未備份過的數據，從而減少數據的存儲量，降低網絡的帶寬，節省資源的占用。重復刪除技術可以在一定范圍內識別出更多的重復數據從而能夠節省更多物理空間及網絡帶寬。但目前在分布式場備份場景中還存在重復數據檢測精度不高的問題。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷而提供一種重復數據檢測精度高的應用于集群范圍內數據備份場景的數據去重方法。

本發明的目的可以通過以下技術方案來實現：

一種應用于集群范圍內數據備份場景的數據去重方法，該方法通過構建的物理指紋庫存儲已備份數據塊的指紋信息，基于所述指紋信息對待備份數據塊進行重復性檢測，根據檢測結果實現數據去重處理，

所述集群范圍內具有多個集群節點，所述物理指紋庫設有多個，所述物理指紋庫和集群節點間具有節點指紋庫映射關系，基于該節點指紋庫映射關系實現所述重復性檢測。

進一步地，所述指紋信息包括數據塊指紋及數據塊位置。

進一步地，所述物理指紋庫基于用戶邏輯指紋庫構建指令自動建立，所述邏輯指紋庫存儲于分布式數據庫中。

進一步地，所述集群范圍內集群節點發生增加或減少時，重新分配多個所述物理指紋庫，遷移各物理指紋庫的分配位置，更新所述節點指紋庫映射關系。

進一步地，所述重復性檢測具體為：

1)獲取所述節點指紋庫映射關系；

2)獲取待備份數據流，對所述待備份數據流進行滑動塊數據切片；

3)計算切片后每一待備份數據塊的數據塊指紋；

4)基于所述節點指紋庫映射關系將每一所述數據塊指紋并發在各集群節點中進行重復數據查詢，判斷是否存在相同數據塊指紋，若是，則執行步驟5)，若否，則執行步驟6)；

5)僅記錄待備份數據塊的存儲位置信息；

6)備份存儲待備份數據塊，并該待備份數據塊的指紋信息插入對應物理指紋庫，并對相應集群節點進行數據塊存儲。

進一步地，所述滑動塊數據切片的切片范圍為KB級別。

進一步地，所述滑動塊數據切片為32KB-128KB的切片。

進一步地，通過哈希映射方式獲得每一數據塊指紋對應的物理指紋庫，在該物理指紋庫所在集群節點進行重復數據查詢。

進一步地，通過刪除所述邏輯指紋庫實現物理指紋庫的刪除。

本發明還提供一種集群范圍內數據備份方法，在備份過程中，采用所述的數據去重方法進行數據去重處理。