[發明專利]一種基于源端重刪的數據高效刪除方法及系統

在審

• 申請號: 201911374951.4
• 申請日: 2019-12-27
• 公開（公告）號: CN111143343A
• 公開（公告）日: 2020-05-12
• 發明（設計）人: 周建華;張有成;姚崎;丁紅;李海鵬;許萍萍
• 申請（專利權）人: 南京壹進制信息科技有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F11/14
• 代理公司: 南京縱橫知識產權代理有限公司 32224
• 代理人: 董建林

本發明公開了一種基于源端重刪的數據高效刪除方法，在備份過程中，將源端的數據流切分數據塊，計算指紋，比對指紋，如果指紋不存在說明是新塊，就把對應的數據塊傳到服務端的容器內存放，并把對應的容器標記為1，容器寫滿后把容器寫到數據文件里，再創建一個新的容器；備份集到期被自動清理，清理掉guid對象記錄；在正常業務窗口期之外的空閑時間利用預先設定的循環刪除邏輯對標記為0的容器進行數據塊及其指紋清理，容器標記為0表示該容器內的數據塊及其指紋都沒有被引用可以清理。優點：本發明采用打標記的方式，統計邏輯更簡單，清理邏輯也不受重刪庫大小的影響，更高效。

技術領域

本發明涉及一種基于源端重刪的數據高效刪除方法及系統，屬于數據保護技術領域。

背景技術

源端重刪由于其能夠降低傳輸帶寬，減少存儲空間等特點，在數據保護產品中得到了廣泛的應用。為了方便說明，這里約定使用了源端重刪后數據存放到重刪庫中，重刪庫包括重刪指紋庫和重刪數據庫。重刪指紋庫里存放數據塊的索引信息，重刪數據庫存放數據塊。使用了源端重刪后的數據有如下特點：重刪數據庫中存放的數據塊是全庫唯一的，重刪數據庫中的大多數數據塊會被多個數據源共同使用，正是這一特點才能達到減少存儲空間的目的。這種特點對減少存儲空間起到了積極的作用，但是卻對刪除操作造成很大的復雜性，重刪數據庫中的數據難以像普通數據那樣很方便的清理。現有的做法第一種方式是記錄每個數據塊的引用次數，備份的時候對于重復的數據塊就增加引用次數，刪除的時候把包含的數據塊的引用次數減去，等到引用次數為0時就說明該數據塊可以被清理掉了，該數據塊占用的存儲空間可以釋放掉了。這種方式隨著重刪庫的增大，備份和刪除性能都會有很大的影響，另外一種方式是集中清理，集中清理的方式是在特定的時間點執行，對于所有的在用的數據文件打標記，數據文件相對數據塊粒度大很多，統計比較快，然后再把不在使用的數據文件及指紋刪除掉，達到釋放空間的目的，這種方式的弊端是粒度較大，釋放空間的效果不是很好。

發明內容

本發明所要解決的技術問題是克服現有源端重刪技術中，由于重刪后的數據的唯一性特點，導致在做刪除操作時邏輯比較復雜，效率比較低，無法快速高效的釋放空間的缺陷，提供一種基于源端重刪的數據高效刪除方法及系統。

為解決上述技術問題，本發明提供一種基于源端重刪的數據高效刪除方法，在備份過程中，將源端的數據流切分數據塊，計算指紋，比對指紋，如果指紋不存在說明是新塊，就把對應的數據塊傳到服務端的容器內存放，并把對應的容器標記為1，容器寫滿后把容器寫到數據文件里，再創建一個新的容器，所述容器包含若干數據塊，重刪庫中包含若干固定大小的數據文件，每個數據文件包含若干容器；

備份集到期被自動清理，清理掉guid對象記錄；

在正常業務窗口期之外的空閑時間利用預先設定的循環刪除邏輯對標記為0的容器進行數據塊及其指紋清理，容器標記為0表示該容器內的數據塊及其指紋都沒有被引用可以清理。

進一步的，所述容器大小固定。

進一步的，對每個所述容器進行標記的過程為：

確定備份集，所述備份集包括對象庫和重刪庫，所述對象庫存放對象文件，對象文件存放對象記錄及對象的索引數據，所述重刪庫存放數據文件，所述數據文件存放對象包含的每個數據塊的信息；

獲取被引用的對象文件，根據對象的唯一標識符讀取對象文件中的索引數據，根據索引數據里的指紋找到對應的容器，把對應的容器記錄打上標記1。

進一步的，所述循環刪除邏輯為：

S1、在備份的過程中，對于已引用的數據塊，把對應的數據塊所在的容器標記為1，對應的對象記錄也標記為1，表示已經檢查過；

S2、遍歷對象記錄，找到那些標記為0的對象，根據對象文件中的記錄的索引信息，到重刪庫中找到對應數據塊存放的容器的位置，并標記指紋對應的容器為1，對象記錄標記為0表示還未被檢查過；