[發明專利]一種基于源端重刪的數據高效刪除方法及系統

在審

• 申請號: 201911374951.4
• 申請日: 2019-12-27
• 公開（公告）號: CN111143343A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 周建華;張有成;姚崎;丁紅;李海鵬;許萍萍
• 申請（專利權）人: 南京壹進制信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F11/14
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

1.一種基于源端重刪的數據高效刪除方法，其特征在于，

在備份過程中，將源端的數據流切分數據塊，計算指紋，比對指紋，如果指紋不存在說明是新塊，就把對應的數據塊傳到服務端的容器內存放，并把對應的容器標記為1，容器寫滿后把容器寫到數據文件里，再創建一個新的容器，所述容器包含若干數據塊，重刪庫中包含若干固定大小的數據文件，每個數據文件包含若干容器；

備份集到期被自動清理，清理掉guid對象記錄；

在正常業務窗口期之外的空閑時間利用預先設定的循環刪除邏輯對標記為0的容器進行數據塊及其指紋清理，容器標記為0表示該容器內的數據塊及其指紋都沒有被引用可以清理。

2.根據權利要求1所述的基于源端重刪的數據高效刪除方法，其特征在于，所述容器大小固定。

3.根據權利要求1所述的基于源端重刪的數據高效刪除方法，其特征在于，對每個所述容器進行標記的過程為：

確定備份集，所述備份集包括對象庫和重刪庫，所述對象庫存放對象文件，對象文件存放對象記錄及對象的索引數據，所述重刪庫存放數據文件，所述數據文件存放對象包含的每個數據塊的信息；

獲取被引用的對象文件，根據對象的唯一標識符讀取對象文件中的索引數據，根據索引數據里的指紋找到對應的容器，把對應的容器記錄打上標記1。

4.根據權利要求3所述的基于源端重刪的數據高效刪除方法，其特征在于，所述循環刪除邏輯為：

S1、在備份的過程中，對于已引用的數據塊，把對應的數據塊所在的容器標記為1，對應的對象記錄也標記為1，表示已經檢查過；

S2、遍歷對象記錄，找到那些標記為0的對象，根據對象文件中的記錄的索引信息，到重刪庫中找到對應數據塊存放的容器的位置，并標記指紋對應的容器為1，對象記錄標記為0表示還未被檢查過；

S3、遍歷重刪庫中的容器記錄，清理標記為0的容器內的數據塊及其指紋，然后把容器狀態標記為2，代表該容器已經被清理可以重復利用；

S4、把重刪庫中的容器記錄標記為1的置0，對象庫中所有的對象記錄的標記置0；

S5、收集重刪庫中中所有標記為2的容器，在新數據需要存放的時候優先選擇收集到的容器來復用；

S6、以設定好的周期循環執行上述步驟S1-S5。

5.一種基于源端重刪的數據高效刪除系統，其特征在于，包括容器確定模塊、備份集清理模塊和刪除模塊；

所述容器確定模塊，在備份過程中，將源端的數據流切分數據塊，計算指紋，比對指紋，如果指紋不存在說明是新塊，就把對應的數據塊傳到服務端的容器內存放，并把對應的容器標記為1，容器寫滿后把容器寫到數據文件里，再創建一個新的容器，所述容器包含若干數據塊，重刪庫中包含若干固定大小的數據文件，每個數據文件包含若干容器；

備份集清理模塊，用于在備份集到期后對備份集自動清理，同時guid對象記錄也一并刪除；

所述刪除模塊，用于在正常業務窗口期之外的空閑時間利用預先設定的循環刪除邏輯對標記為0的容器進行數據塊及其指紋清理，容器標記為0表示該容器內的數據塊及其指紋都沒有被引用可以清理。

6.根據權利要求5所述的基于源端重刪的數據高效刪除系統，其特征在于，所述容器確定模塊確定的容器的大小固定。

7.根據權利要求5所述的基于源端重刪的數據高效刪除系統，其特征在于，所述容器確定模塊包括備份集確定模塊和容器標記模塊；

所述備份集確定模塊，用于確定備份集，所述備份集包括對象庫和重刪庫，所述對象庫存放對象文件，對象文件存放對象記錄及對象的索引數據，所述重刪庫存放數據文件，所述數據文件存放對象包含的每個數據塊的信息；

所述容器標記模塊，用于獲取被引用的對象文件，根據對象的唯一標識符讀取對象文件中的索引數據，根據索引數據里的指紋找到對應的容器，把對應的容器記錄打上標記1。

8.根據權利要求7所述的基于源端重刪的數據高效刪除系統，其特征在于，所述清理模塊包括備份模塊、第一遍歷模塊、第二遍歷模塊、初始化模塊、收集模塊和循環模塊；

所述備份模塊，用于在備份的過程中，對于已引用的數據塊，把對應的數據塊所在的容器標記為1，對應的對象記錄也標記為1，代表已經檢查過；

所述第一遍歷模塊，用于遍歷對象記錄，找到那些標記為0的對象，根據對象文件中的記錄的索引信息，到重刪庫中找到對應數據塊存放的容器的位置，并標記指紋對應的容器為1，對象記錄標記為0表示還未被檢查過；

所述第二遍歷模塊，遍歷重刪庫中的容器記錄，清理標記為0的容器內的數據塊及其指紋，然后把容器狀態標記為2，代表該容器已經被清理可以重復利用；；

所述初始化模塊，把重刪庫中的容器記錄標記為1的置0，對象庫中所有的對象記錄的標記置0；

所述收集模塊，用于收集重刪庫中中所有標記為2的容器，在新數據需要存放的時候優先選擇收集到的容器來復用；

所述循環模塊，用于以設定好的周期循環執行上述備份模塊、第一遍歷模塊、第二遍歷模塊、初始化模塊、收集模塊的過程。