[發明專利]重復數據刪除方法

無效

• 申請號: 201210350514.0
• 申請日: 2012-09-19
• 公開（公告）號: CN102915278A
• 公開（公告）日: 2013-02-06
• 發明（設計）人: 劉正偉;張硯波
• 申請（專利權）人: 浪潮（北京）電子信息產業有限公司
• 主分類號: G06F12/06
• 分類號: G06F12/06
• 代理公司: 北京安信方達知識產權代理有限公司 11262
• 代理人: 栗若木;曲鵬

1.一種重復數據刪除方法，其特征在于，包括：

在有新的數據塊需要寫入時，生成所述數據塊的指紋；

根據所述數據塊的指紋查詢預置的已存儲數據塊的塊指紋索引，檢查所述數據塊是否與已存儲數據塊重復；

在確定所述數據塊與已存儲的數據塊重復時，刪除所述新的數據塊。

2.根據權利要求1所述的重復數據刪除方法，其特征在于，所述在有新的數據塊需要寫入時，生成所述數據塊的指紋的步驟之前，還包括：

為每個塊組(Block?Group)中已存儲數據塊的生成一塊指紋索引，在所述塊指紋索引中包括各個數據塊的塊指紋索引值，所述塊指紋索引值包括數據塊的指紋和引用計數，所述引用計數紀錄所述數據塊被重復引用的次數。

3.根據權利要求2所述的重復數據刪除方法，其特征在于，所述在有新的數據塊需要寫入時，生成所述數據塊的指紋的步驟之前，還包括：

生成已存儲數據塊的內存索引過濾器，所述內存索引過濾器為一內存中的索引結構，將全部已存儲數據塊的指紋的前若干位作為索引鍵，將所述索引鍵與對應數據塊的地址存儲于所述內存索引過濾器中。

4.根據權利要求3所述的重復數據刪除方法，其特征在于，根據所述數據塊的指紋查詢預置的已存儲數據塊的塊指紋索引，檢查所述數據塊是否與已存儲數據塊重復包括：

檢查所述數據塊指紋的前若干位是否能夠與所述內存索引過濾器中的索引鍵相匹配；

在所述數據塊指紋的前若干位不能與所述內存索引過濾器中的任一索引鍵相匹配時，判定所述數據塊不與已存儲數據塊重復。

5.根據權利要求4所述的重復數據刪除方法，其特征在于，所述檢查所述數據塊指紋的前若干位是否能夠與所述內存索引過濾器中的索引鍵相匹配的步驟之后還包括：

在所述數據塊指紋的前若干位能夠與所述索引過濾器中的一個或多個索引鍵相匹配時，提取所述相匹配的一個或多個索引鍵對應的完整指紋；

將所述數據塊指紋與所述一個或多個索引鍵對應的完整指紋進行比對；

在所述一個或多個索引鍵對應的完整指紋中存在與所述數據塊指紋相同的指紋時，判定所述數據塊與已存儲數據塊重復。

6.根據權利要求5所述的重復數據刪除方法，其特征在于，所述將所述數據塊指紋與所述一個或多個索引鍵對應的完整指紋進行比對的步驟之后，還包括：

在所述一個或多個索引鍵對應的完整指紋中不存在與所述數據塊指紋相同的指紋時，判定所述數據塊不與已存儲數據塊重復。

7.根據權利要求6所述的重復數據刪除方法，其特征在于，所述在確定所述數據塊與已存儲的數據塊重復時，刪除所述新的數據塊的步驟之后，還包括：

將與所述新的數據塊相同的已存儲數據塊的引用次數加一。

8.根據權利要求1或7所述的重復數據刪除方法，其特征在于，所述在有新的數據塊需要寫入時，生成所述數據塊的指紋的步驟之前，還包括：

建立已存儲數據塊的數據結構，所述數據結構包括多個索引節點，每個索引節點對應一個數據塊，記錄該數據塊的基本信息和指針信息，所述指針信息指向所述數據塊的存儲地址。

9.根據權利要求8所述的重復數據刪除方法，其特征在于，所述根據所述數據塊的指紋查詢預置的已存儲數據塊的塊指紋索引，檢查所述數據塊是否與已存儲數據塊重復的步驟之后，還包括：

在所述數據塊與已存儲數據塊不重復時，將所述數據添加至塊指紋索引中；

在所述已存儲數據塊的數據結構中為所述新的數據塊添加索引節點，所述索引節點的指紋信息指向所述新的數據塊的索引地址。