[發明專利]一種基于源端重刪的數據快速刪除方法

在審

• 申請號: 201911069232.1
• 申請日: 2019-11-05
• 公開（公告）號: CN111124750A
• 公開（公告）日: 2020-05-08
• 發明（設計）人: 佟芳;周建華;李暉;秦浩;徐鐵軍;張文飛;李國棟;王婷;王忠花;馬文珍
• 申請（專利權）人: 國家電網有限公司;國網青海省電力公司;國網青海省電力公司信息通信公司
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F16/16
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 姚娟

本發明提供的一種基于源端重刪的數據快速刪除方法，包括刪除備份集和清理介質兩個步驟，該方法對于數據塊引用次數不再使用記錄具體每一塊的具體次數，由備份集對象記錄所引用的數據塊存在的數據文件，刪除功能使用延遲刪除策略，分刪除備份集及清理介質兩個步驟，簡化刪除操作提升刪除性能，盡可能延長數據塊存在重刪庫中的時間，避免頻繁備份刪除造成的資源浪費。

技術領域

本發明屬于數據重刪技術領域，具體涉及一種基于源端重刪的數據快速刪除方法。

背景技術

備份設備中總是充斥著大量的冗余數據。為了解決這個問題，節省更多空間，重復刪除技術便順理成章地成了人們關注的焦點。采用重復刪除技術可以將存儲的數據量大幅降低，從而讓出更多的備份空間，使得備份數據可以更長久的保留在磁盤上，并且源端重刪技術還可以在備份時節約大量的帶寬。作為數據保護的備份設備要具備備份、恢復和刪除這些基本功能。

重刪功能的特點是存放數據的重刪庫中只保留一份數據塊，每份數據塊都是不同且唯一的。使用重刪功能備份的數據不同于非重刪的，非重刪的備份集的數據是相互獨立的，刪除時直接刪掉就可以了不會影響到其他備份集的數據。而使用重刪功能后，很自然的會出現以下這樣的現象：多個備份源執行備份，使用重刪功能分塊后，有一部分數據是相同的，即重刪庫里存放的數據塊可能被多個備份集引用，根據重刪的特點，只保留一份數據供多個備份源來引用。刪除功能的一般做法是記錄重刪庫里的每個數據塊的引用次數，刪除備份集時就把備份集中所用到的每個數據塊找到并引用次數減去對應的用到的次數，當引用次數為0的時候表示該塊已經不再有備份集用到了，可以徹底刪除了。這樣的做法有以下不足的地方：首先要記錄每個塊的索引的次數時，這樣的粒度比較細，每次執行備份任務時，無論數據塊是不是新塊都需要訪問數據庫（對于新的塊要插入新的指紋記錄，對于已存在的塊要更新它的引用次數），這樣會影響備份的性能，即使可能刪除操作完實際重刪庫的空間并沒有釋放（引用次數不為0就不能真正的清理磁盤上的數據塊）；其次，在做刪除備份集操作時，由于要遍歷備份集用到的所有的重刪塊并調整用到所有塊對應的指紋表，這樣刪除任務就會耗時比較久。因此，現有的刪除方案在性能上比較低，并且不適合備份和刪除都比較頻繁的場景。

發明內容

為了解決現有技術中存在的不足，本發明提供了一種基于源端重刪的數據快速刪除方法，把數據塊的引用次數記錄擴大到數據文件，不再記錄具體某一個數據塊被引用了多少次，而只關心哪些備份集用到了哪些數據文件，刪除功能使用延遲刪除策略，分刪除備份集及清理介質兩個步驟，簡化刪除操作提升刪除性能，盡可能延長數據塊存在重刪庫中的時間，避免頻繁備份刪除造成的資源浪費。

為解決上述問題，本發明具體采用以下技術方案：

一種基于源端重刪的數據快速刪除方法，其特征在于，包括以下步驟：

步驟1：刪除備份集實現初步刪除操作；

步驟2：清理介質從而徹底刪除不需要的數據塊。

前述的一種基于源端重刪的數據快速刪除方法，其特征在于，步驟1中的刪除備份集具體包括以下步驟：

步驟1a：獲取備份集下所有的對象；

步驟1b：刪除objdb數據庫中的對象記錄及其objfile文件；

步驟1c：刪除dedupdb數據庫中的guiddb表中對應的對象記錄。

前述的一種基于源端重刪的數據快速刪除方法，其特征在于，步驟2中的清理介質具體包括以下步驟：

步驟2a：遍歷dedupdb數據庫中的guiddb表；

步驟2b：匯總所有guiddb表中現有對象用到的dedupfile文件；

步驟2c：將步驟2b匯總出來的文件與filedb中的所有記錄對比，記錄不再引用的dedupfile文件；