[發明專利]數據刪除方法及裝置

有效

• 申請號: 201710091431.7
• 申請日: 2017-02-17
• 公開（公告）號: CN106990914B
• 公開（公告）日: 2020-06-12
• 發明（設計）人: 李發明;張勤
• 申請（專利權）人: 北京同有飛驥科技股份有限公司
• 主分類號: G06F3/06
• 分類號: G06F3/06
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 胡海國

本發明公開了一種數據刪除方法，包括步驟：獲取待處理數據；確定待處理數據中相互匹配的對象；比對相互匹配的對象對應的數據，確定相互匹配的對象間重復的數據；將所確定的重復的數據刪除。本發明還公開了一種數據刪除裝置。本發明有效合理的刪除數據，提高存儲空間。

技術領域

本發明涉及數據處理技術領域，尤其涉及數據刪除方法及裝置。

背景技術

隨著社會數字網絡信息化進程的不斷推進，全球IT企業管理的數據量集劇增長，當前大規模的數據中心對復雜數據的管理在擴展性、性能和成本等方面要求在不斷的提升。為了減緩企業存儲容量的增長，傳統的重復數據刪除存儲管理技術和方法已無法滿足大數據備份應用的服務質量需求，新的軟硬件技術進步為大數據管理能力的提升帶來機遇。

目前市場上大部分的重復數據刪除系統，為了識別冗余數據塊和定位數據塊，必須依賴基于指紋的元數據索引算法，尤其是在大數據存儲環境下，代表數據的指紋數量也比較龐大，系統需要付出昂貴的成本來維護該指紋數據結構來保證重刪性能。雖然這些技術能有效減少系統中的冗余數據，但是其主要思路是采用數據源局部性特征來改善重刪性能，在分布式存儲中局部性特征并不明顯，無法有效合理的刪除數據，導致冗余數據刪除不夠徹底，占用存儲空間。

上述內容僅用于輔助理解本發明的技術方案，并不代表承認上述內容是現有技術。

發明內容

本發明的主要目的在于提供一種數據刪除方法及裝置，旨在解決目前重復數據刪除的主要思路是采用數據源局部性特征來改善重刪性能，在分布式存儲中局部性特征并不明顯，無法有效合理的刪除數據，導致冗余數據刪除不夠徹底，占用存儲空間的問題。

為實現上述目的，本發明提供的一種數據刪除方法，包括步驟：

獲取待處理數據；

確定待處理數據中相互匹配的對象；

比對相互匹配的對象對應的數據，確定相互匹配的對象間重復的數據；

將所確定的重復的數據刪除。

優選地，所述獲取待處理數據的步驟包括：

確定數據刪除的模式；

在數據刪除的模式為實時刪除模式時，獲取當前存入的數據以及歷史存入的數據，將當前存入的數據以及歷史存入的數據作為待處理數據；

在數據刪除的模式為定時刪除模式時，獲取當前已存儲的數據，將當前已存儲的數據作為待處理數據。

優選地，所述獲取待處理數據之前，還包括：

接收待存儲數據，將所述待存儲數據切片，切成預設大小的切片數據塊；

將每個切片數據塊以對象的方式存儲，將每個切片數據的對象和指紋索引組成數據結構存儲。

優選地，所述確定待處理數據中相互匹配的對象的步驟包括：

確定所述待存儲數據中包含的對象；

將所確定的對象加入指紋索引隊列，進行對象指紋比對，通過Hash算法確定相互匹配的對象。

優選地，所述比對相互匹配的對象對應的數據，確定相互匹配的對象間重復的數據的步驟包括：

比對相互匹配的對象對應的數據，通過MD5算法計算數據的正確性得到有效數據；

從有效數據中確定相互匹配的對象間重復的數據。

此外，為實現上述目的，本發明還提供一種數據刪除裝置，包括：

獲取模塊，用于獲取待處理數據；

確定模塊，用于提取待處理數據中相互匹配的對象；