[發明專利]對數據去除重復的方法和系統

有效

• 申請號: 201410001102.5
• 申請日: 2014-01-02
• 公開（公告）號: CN104679445B
• 公開（公告）日: 2017-10-13
• 發明（設計）人: D.M.鮑德溫;C.巴雷拉;M.C.康斯坦丁斯庫;S.R.帕蒂爾;R.M.希拉古皮
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F3/06
• 分類號: G06F3/06;G06F17/30
• 代理公司: 北京市柳沈律師事務所11105
• 代理人: 周少杰

1.一種對數據去除重復的方法，包括：

將選擇的數據的多個文件塊映射到多個邏輯塊；

對所述多個邏輯塊去除重復，從而將每個邏輯塊與位于物理存儲器設備上的多個物理塊的對應物理塊相關聯，所述對應物理塊中的兩個或更多是彼此非連續的；

創建去除重復映射表和高讀取塊應用信息表；

使用高讀取塊應用信息表確定所述對應物理塊中的一個或多個是否是以閾值頻率以上的頻率存取、并由應用的公共集合引用的一個或多個頻繁存取的物理塊；

將所述使用高讀取塊應用信息表確定的所述對應物理塊中的一個或多個以閾值頻率以上的頻率存取、并由應用的公共集合引用的一個或多個頻繁存取的物理塊分組到物理連續的塊，

其中如果分組到一起的所述一個或多個頻繁存取的物理塊的至少一個非物理連續，則：將存儲在所述一個或多個頻繁存取的物理塊上的非物理連續數據重新定位到所述多個物理塊的不同物理塊，所述多個物理塊的不同物理塊是物理連續的。

2.如權利要求1所述的方法，其中去除重復的步驟包括：對于所述多個邏輯塊的每個邏輯塊計算哈希值，并將所述哈希值與包括相同哈希值的條目相匹配，從而將每個邏輯塊與所述對應的物理塊相關聯。

3.如權利要求2所述的方法，其中去除重復的步驟還包括如果所述哈希值不與任何條目匹配，則將一個或多個未分派的物理塊分派給所述邏輯塊中的一個或多個。

4.如權利要求1所述的方法，還包括識別引用一個或多個頻繁存取的物理塊的一個或多個文件。

5.如權利要求1所述的方法，其中確定的步驟包括跟蹤所述多個邏輯塊的每個邏輯塊上的讀取。

6.如權利要求1所述的方法，其中物理連續的所述多個物理塊的不同物理塊順序地位于物理存儲器設備的相同磁道上。

7.如權利要求1所述的方法，其中物理連續的所述多個物理塊的不同物理塊彼此相鄰地位于物理存儲器設備的不同磁道上。

8.如權利要求1所述的方法，其中所述多個物理塊的不同物理塊的至少部分先前包括以閾值頻率以下的頻率存取的數據。

9.一種用于對數據去除重復的系統，包括：

一個或多個物理存儲器設備，以及

與所述一個或多個物理存儲器設備操作的處理設備：

將選擇的數據的多個文件塊映射到多個邏輯塊，

對所述多個邏輯塊的去除重復，從而將每個邏輯塊與位于一個或多個物理存儲器設備上的多個物理塊的一個或多個對應物理塊相關聯，所述對應物理塊中的兩個或更多是彼此非連續的，

創建去除重復映射表和高讀取塊應用信息表，

使用高讀取塊應用信息表確定所述對應物理塊中的一個或多個是否是以閾值頻率以上的頻率存取、并由應用的公共集合引用的一個或多個頻繁存取的物理塊，以及

將所述使用高讀取塊應用信息表確定的所述對應物理塊中的一個或多個以閾值頻率以上的頻率存取、并由應用的公共集合引用的一個或多個頻繁存取的物理塊分組到物理連續的塊，

其中如果分組到一起的所述一個或多個頻繁存取的物理塊的至少一個非物理連續，則：將存儲在相關聯的所述一個或多個頻繁存取的非物理連續物理塊上的數據重新定位到所述多個物理塊的不同物理塊，所述多個物理塊的不同物理塊是物理連續的。

10.如權利要求9所述的系統，其中所述處理設備還操作為對于所述多個邏輯塊的每個邏輯塊計算哈希值，并將所述哈希值與包括相同哈希值的條目相匹配，從而將每個邏輯塊與所述對應的物理塊相關聯。

11.如權利要求10所述的系統，其中如果所述哈希值不與任何條目匹配，則所述處理設備還操作為將一個或多個未分派的物理塊分派給一個或多個邏輯塊。

12.如權利要求9所述的系統，所述處理設備還操作為識別引用所述一個或多個頻繁存取的物理塊的一個或多個文件。

13.如權利要求9所述的系統，所述處理設備還操作為跟蹤所述多個邏輯塊的每個邏輯塊上的讀取。

14.如權利要求9所述的系統，其中物理連續的所述多個物理塊的不同物理塊順序地位于相同物理存儲器設備的相同磁道上。

15.如權利要求9所述的系統，其中物理連續的所述多個物理塊的不同物理塊彼此相鄰地位于相同物理存儲器設備的不同磁道上。

16.如權利要求9所述的系統，其中所述多個物理塊的不同物理塊的至少部分先前包括以閾值頻率以下的頻率存取的數據。