[發明專利]提高線上重復刪除效率的方法和系統

有效

• 申請號: 201310113525.1
• 申請日: 2013-04-03
• 公開（公告）號: CN103365954B
• 公開（公告）日: 2018-01-12
• 發明（設計）人: D·M·巴爾德溫;N·P·博塞爾;J·T·奧爾森;S·R·派迪爾
• 申請（專利權）人: 國際商業機器公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 中國國際貿易促進委員會專利商標事務所11038
• 代理人: 黨建華

1.一種在計算環境中通過處理器裝置提高線上重復刪除效率的方法，該方法包括：

在第n次迭代中對于來自從請求線上重復刪除的對象提取的固定尺寸數據塊的數據采樣計算散列值；

對于第n次迭代，使在第n個散列索引表中對于來自固定尺寸數據塊的數據采樣計算的散列值與存儲部件中的存在的對象的相應的散列值匹配，其中，第n個散列索引表是對于屬于固定數據塊的數據采樣的每一個構建的；

在檢測到在匹配過程中對于來自固定尺寸數據塊的數據采樣的每一個計算的散列值不匹配的情況下，離開第n個散列索引表，其中，不匹配被確定為是唯一對象并被存儲，其中，在每次迭代中，增加所述數據采樣的尺寸，該尺寸為固定尺寸；和

計算對象的散列值，其中，用計算的對象的散列值和計算的唯一對象的散列值更新主散列索引表。

2.根據權利要求1的方法，其中，對于來自固定尺寸數據塊的數據采樣計算散列值包含對于固定尺寸數據采樣計算散列值。

3.根據權利要求2的方法，其中，對于來自固定尺寸數據塊的數據采樣計算散列值包含從首先處于固定尺寸數據塊中的固定尺寸數據采樣開始對于固定尺寸數據采樣計算散列值。

4.根據權利要求1的方法，其中，對于來自固定尺寸數據塊的數據采樣計算散列值包含對于來自具有預定的固定尺寸的固定尺寸數據塊的數據采樣計算散列值。

5.根據權利要求1的方法，還包括從歷史數據確定多個樣式，以用于基于重復刪除比增加所述數據采樣的尺寸，其中，第n次迭代所述數據采樣的尺寸隨重復刪除比的增加而減小，并且，第n次迭代所述數據采樣的尺寸隨重復刪除比的減小而增加。

6.根據權利要求1的方法，還包括，在沒有檢測到第n個散列索引表中的不匹配，并且完成對象中的固定尺寸數據塊的提取并執行匹配的情況下，在主散列索引表中對于對象計算的散列值執行匹配。

7.根據權利要求4的方法，還包括，在檢測到主散列索引表中的不匹配的情況下，存儲對象并更新主散列索引表。

8.根據權利要求5的方法，還包括，在主索引表和第n個索引表中的一個中的匹配過程中檢測到不匹配的情況下，終止線上重復刪除并向客戶機發送成功響應。

9.根據權利要求1的方法，還包括，在離線模式中計算對象的散列值。

10.根據權利要求1的方法，還包括，與匹配結合，如果發現對于來自固定尺寸數據塊的數據采樣計算的散列值與存儲部件中存在的對象的相應的散列值匹配，那么繼續從對象提取數據，以構建來自固定尺寸數據塊的數據采樣的第n個。

11.一種在計算環境中提高線上重復刪除效率的系統，該系統包括：

可在計算環境中操作的處理器裝置，其中，處理器裝置適于：

在第n次迭代中對于來自從請求線上重復刪除的對象提取的固定尺寸數據塊的數據采樣計算散列值；

對于第n次迭代，使在第n個散列索引表中對于來自固定尺寸數據塊的數據采樣計算的散列值與存儲部件中的存在的對象的相應的散列值匹配，其中，第n個散列索引表是對于屬于固定數據塊的數據采樣的每一個構建的；

在檢測到在匹配過程中對于來自固定尺寸數據塊的數據采樣的每一個計算的散列值不匹配時，離開第n個散列索引表，其中，不匹配被確定為是唯一對象并被存儲，其中，在每次迭代中，增加所述數據采樣的尺寸，該尺寸為固定尺寸；和

計算對象的散列值，其中，用計算的對象的散列值和計算的唯一對象的散列值更新主散列索引表。

12.根據權利要求11的系統，其中，處理器裝置還適于：依照對于來自固定尺寸數據塊的數據采樣計算散列值，對于固定尺寸數據采樣計算散列值。

13.根據權利要求12的系統，其中，處理器裝置還適于：依照對于來自固定尺寸數據塊的數據采樣計算散列值，從首先處于固定尺寸數據塊中的固定尺寸數據采樣開始對于固定尺寸數據采樣計算散列值。

14.根據權利要求11的系統，其中，處理器裝置還適于：依照對于來自固定尺寸數據塊的數據采樣計算散列值，對于來自具有預定的固定尺寸的固定尺寸數據塊的數據采樣計算散列值。

15.根據權利要求11的系統，其中，處理器裝置還適于為了達到對象的全尺寸對于第n次迭代的每一次增加固定尺寸數據塊的尺寸。