[發明專利]一種重復數據刪除的方法和系統

有效

• 申請號: 201110304388.0
• 申請日: 2011-09-29
• 公開（公告）號: CN103034659A
• 公開（公告）日: 2013-04-10
• 發明（設計）人: 李玉猛;王麗娜;熊殷翔;李彥欣;聞晶
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所 11038
• 代理人: 申發振

技術領域

本發明一般涉及數據備份，更具體地，涉及一種重復數據刪除的方法和系統。

背景技術

數據備份是將數據以某種方式加以保留，以便在系統遭受破壞或其他特定情況下，重新加以利用的一個過程。數據備份是存儲領域的一個重要組成部分，其在存儲系統中的地位和作用都是不容忽視的。并且對一個IT系統而言，備份工作也是其中必不可少的組成部分。因為它不僅可以防范意外事件的破壞，而且還能使歷史數據以最佳方式保存歸檔，即它為歷史數據進行歷史數據查詢、統計和分析，以及重要信息歸檔保存提供了可能。

重復數據刪除(De-duplication)技術通過刪除數據集中的重復數據，對于重復數據，只保留其中一份，從而消除冗余數據，是一種目前主流且非常熱門的存儲技術。圖1示出了重復數據刪除技術的示意性描述，根據圖1，原始數據中存在大量的重復數據，通過使用重復數據刪除技術，可以得到用于存儲的優化的數據，顯然，存儲的優化的數據需要的存儲空間大大減少。重復數據刪除技術目前大量應用于數據備份與歸檔系統，可以幫助應用程序降低數據存儲量，節省網絡帶寬，提高存儲效率，從而節省成本。

重復數據刪除技術的優劣衡量標準主要有兩個，即重復數據刪除率(deduplocation?ratios)和刪除方法執行的性能。刪除方法執行的性能取決于具體實現技術，而重復數據刪除率則由數據自身的特征和應用模式所決定?，F有的廠商已經提供很多種重復數據刪除的方法，例如定長分塊方法，不定長分塊方法等等。但是，現有數據塊級重復數據刪除技術去除了重復存儲的數據塊后，數據的重復數據刪除率就是固定的，重復數據刪除率高可以更進一步節省存儲和傳輸成本，是各個廠家不斷追求的目標，因此，有必要進一步研究出重復數據刪除率更高的重復數據刪除方法和系統。

發明內容

因此，需要提供一種重復數據刪除的方法和系統，能夠進一步提高重復數據的刪除率，從而進一步降低數據存儲量，減少存儲成本。

根據本發明的一個方面，提供了一種重復數據刪除的方法，包括：

a)獲得已經使用重復數據刪除方法得到的至少一個原始數據對象對應的元數據和多個數據塊；

b)將獲得的多個數據塊組合成新數據對象；

c)對新數據對象進行重復數據刪除，得到新數據對象對應的新元數據和新數據塊；以及

箝位臂d)存儲所述至少一個原始數據對象對應的元數據、新數據對象對應的新元數據、以及新數據塊。

根據本發明的另一個方面，提供了一種重復數據刪除的系統，包括：

獲得裝置，被配置為獲得已經使用重復數據刪除方法得到的至少一個原始數據對象對應的元數據和多個數據塊；

合成裝置，被配置為將獲得的多個數據塊組合成新數據對象；

刪除裝置，被配置為對新數據對象進行重復數據刪除，得到新數據對象對應的新元數據和新數據塊；以及

箝位臂存儲裝置，被配置為存儲所述至少一個原始數據對象對應的元數據、新數據對象對應的新元數據、以及新數據塊。

附圖說明

通過對附圖中本發明示例實施例方式的更詳細描述，本發明的上述、以及其它目的、特征和優勢將變得更加明顯，其中，相同的參考標號通常代表本發明示例實施例方式中的相同部件。

圖1示出了重復數據刪除技術的示意性描述；

圖2示出了適于用來實現本發明實施方式的示例性計算系統100的框圖；

圖3示出了數據塊級重復數據刪除過程的步驟；

圖4示出了根據本發明的一種實施方式的一種重復數據刪除的方法的步驟；以及

圖5示出了根據本發明的一種實施方式的一種重復數據刪除的系統的結構圖。

具體實施方式

將參照附圖更加詳細地描述本發明的優選實施方式，在附圖中顯示了本發明的優選實施例。然而，本發明可以以各種形式實現而不應該理解為被這里闡述的實施例所限制。相反，提供這些實施例是為了使本發明更加透徹和完整，并且，完全將本發明的范圍傳達給本領域的技術人員。