[發明專利]一種用于數據去重系統中的碎片重寫方法

有效

• 申請號: 201310383204.3
• 申請日: 2013-08-28
• 公開（公告）號: CN103473150A
• 公開（公告）日: 2013-12-25
• 發明（設計）人: 劉景寧;馮丹;周鵬舉;許蔚;付忞
• 申請（專利權）人: 華中科技大學
• 主分類號: G06F11/14
• 分類號: G06F11/14;G06F3/06
• 代理公司: 華中科技大學專利中心 42201
• 代理人: 朱仁玲

1.一種用于數據去重系統的碎片重寫方法，其特征在于，在數據去重過程中增加一個緩存作為重寫感知緩存，該重寫感知緩存中的數據項為數據塊所引用的容器標識(Container?ID)，對判定為數據碎片的數據塊，如果其引用的容器標識(Container?ID)已存儲在該重寫感知緩存中，則此數據無需重寫，否則重寫該數據碎片。

2.根據權利要求1所述的一種用于數據去重系統的碎片重寫方法，其特征在于，所述的重寫感知緩存為與讀數據或恢復數據時同樣大小且相同緩存策略的緩存，其中所述大小是指緩存項的個數。

3.根據權利要求1或2所述的一種用于數據去重系統的碎片重寫方法，其特征在于，所述的重寫感知緩存為采用LRU替換策略的緩存。

4.一種用于數據去重系統的碎片重寫方法，通過增加一個用于存儲數據塊引用的容器標識（Container?ID）的緩存作為重寫感知緩存，來實現高性能數據重寫，其特征在于，該方法包括如下步驟：

(1)對新來的數據塊進行去重判斷，如果不是重復數據，則存儲此數據塊，否則執行步驟(2)；

(2)判斷當前數據塊是否為一個數據碎片，如果不是則不用重寫，否則執行步驟(3)；

(3)判斷當前數據碎片是否應當重寫，即如果當前數據碎片引用的容器標識（Container?ID）存儲在該重寫感知緩存中，則不用重寫，否則將當前數據碎片作為新數據重寫。

5.根據權利要求4所述的一種用于數據去重系統的碎片重寫方法，其特征在于，所述的重寫感知緩存為與讀數據或恢復數據時同樣大小且同樣緩存策略的緩存，其中所述大小是指緩存項的個數。

6.根據權利要求4或5所述的一種用于數據去重系統的碎片重寫方法，其特征在于，所述的重寫感知緩存為LRU緩存。

7.根據權利要求4-6中任一項所述的一種用于數據去重系統的碎片重寫方法，其特征在于，所述判斷當前數據塊是否為一個數據碎片優選可以采用CFL算法、CBR算法或Capping算法實現。

8.一種用于數據去重系統的碎片重寫方法，其基于CFL算法進行數據碎片判斷并對該所述數據碎片進行選擇性重寫，從而實現高性能的碎片重寫，其特征在于，該方法具體包括：

（1）對新來的數據塊，首先檢查是否是重復數據塊，如果不存在則直接作為新數據塊寫入Container，然后處理下一個數據塊，否則轉為步驟（2）；

（2）對于重復的數據塊，判斷當前CFL值，如果CFL值小于第一閾值（LWM）則轉入步驟（4），如果大于第二閾值（HWM）則轉入步驟（3）；

（3）采用一般去重方法進行去重，即數據塊不被存儲，僅存儲相應的數據塊指紋，然后轉入步驟(1)；

（4）采用選擇性去重方法進行去重，即判斷當前數據塊所引用的容器標識（Container?ID）與用于暫存重復數據塊的臨時容器中的數據塊是否有相同的容器標識（Container?ID），如果是則暫時保存此數據塊到臨時容器中，轉入步驟(1)，否則轉入步驟（5）；

（5）判斷當前臨時容器的中所有數據塊大小之和與一個容器（Container）大小的比值，如果比值不小于重寫閾值，則不需要重寫，清除臨時容器中的所有數據，轉入步驟(1)，如果比值小于該重寫閾值，即作為數據碎片，轉入步驟（6）；

（6）判斷數據塊是否在重寫感知緩存隊列中，如果存在則不需要重寫，更新CFL值和重寫感知緩存隊列，轉入步驟(1)，否則轉入步驟（7）；

（7）重寫臨時容器中的所有數據塊，更新CFL值和重寫感知緩存隊列，使最新的容器標識進入該重寫感知緩存隊列。