[發明專利]一種適應大數據應用的快速重復數據刪除方法

有效

• 申請號: 201310228696.9
• 申請日: 2013-06-08
• 公開（公告）號: CN103324699A
• 公開（公告）日: 2013-09-25
• 發明（設計）人: 張興軍;朱國峰;董小社;朱躍光;王龍翔;姜曉夏
• 申請（專利權）人: 西安交通大學
• 主分類號: G06F17/30
• 分類號: G06F17/30;G06F11/14
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 蔡和平

1.一種適應大數據應用的快速重復數據刪除方法，其特征在于，包括以下步驟：

（1）用戶定制備份任務，形成備份文件流；

（2）通過一個固定長度窗口在備份文件流上按字節進行滑動，每滑動一個字節就采用RabinHash函數計算一次窗口內數據指紋值，記為rhashvalue；

（3）判斷步驟（2）所計算的指紋值是否滿足邊界點條件：rhashvalue%D=r；其中，D為除數，其值隨機確定；r為模數，取值為D-1；若不滿足，則轉入步驟（2）繼續進行滑動窗口；若滿足，則轉入步驟（4）；

（4）以步驟（3）找到的滿足邊界點條件的窗口位置為界對備份文件流進行劃分，形成CDC變長塊，同時記錄變長塊個數以及當前邊界點位置，同時進入步驟（5）和（8）；

（5）判斷備份文件流是否劃分結束，若結束，則整個分塊過程結束；若未結束，則進入步驟（6）；

（6）判斷CDC變長塊個數是否等于去重因子，若不相等，則轉入步驟（2）繼續滑動窗口；若相等，則進入步驟（7）；

（7）清零CDC變長塊個數，即重新開始計數，并且從上一個劃分的塊的邊界點位置開始按加速因子進行固定長度分塊，同時進入步驟（5）和步驟（8）；

（8）計算CDC變長塊或定長塊hash值，并進入步驟（9）去重檢測過程；

（9）檢索hash表，查詢hash值是否存在，若存在，則更新hash表對應hash值引用次數；若不存在，則存儲hash值及相應數據塊內容。

2.根據權利要求1所述的一種適應大數據應用的快速重復數據刪除方法，其特征在于，步驟（2）中所述固定長度窗口的長度為48bytes或50bytes。

3.根據權利要求1所述的一種適應大數據應用的快速重復數據刪除方法，其特征在于，步驟（6）中所述去重因子為1、2、3或4。

4.根據權利要求1所述的一種適應大數據應用的快速重復數據刪除方法，其特征在于，步驟（7）中所述加速因子為4KB、8KB、16KB、32KB、64KB或128KB。